[論文レビュー] FoldingNet: Point Cloud Auto-encoder via Deep Grid Deformation

Yaoqing Yang, Chen Feng+2 more|arXiv (Cornell University)|Dec 19, 2017

3D Shape Modeling and Analysis参考文献 13被引用数 25

ひとこと要約

FoldingNetは、グラフベースのエンコーダーと、2次元グリッドを3次元点群表面に変形する新しいフォールディングベースのデコーダーを用いるエンドツーエンドの深層自己符号化器を提案する。この手法により、点群の非教師あり表現学習が可能となり、モデルのパラメータの7%未満でModelNet40で88.4%の線形SVM分類精度を達成した。これは、局所幾何構造を保持しながら、優れた再構成性能と判別性能を示している。

ABSTRACT

Recent deep networks that directly handle points in a point set, e.g., PointNet, have been state-of-the-art for supervised learning tasks on point clouds such as classification and segmentation. In this work, a novel end-to-end deep auto-encoder is proposed to address unsupervised learning challenges on point clouds. On the encoder side, a graph-based enhancement is enforced to promote local structures on top of PointNet. Then, a novel folding-based decoder deforms a canonical 2D grid onto the underlying 3D object surface of a point cloud, achieving low reconstruction errors even for objects with delicate structures. The proposed decoder only uses about 7% parameters of a decoder with fully-connected neural networks, yet leads to a more discriminative representation that achieves higher linear SVM classification accuracy than the benchmark. In addition, the proposed decoder structure is shown, in theory, to be a generic architecture that is able to reconstruct an arbitrary point cloud from a 2D grid. Our code is available at http://www.merl.com/research/license#FoldingNet

研究の動機と目的

• 不規則な3次元点群に特化した教師なし表現学習の課題に取り組むこと。2次元画像とは異なり、点群は規則的な構造を持たない。
• ボクセル化や全結合デコーダーの限界を克服し、幾何構造に配慮したデコーディング機構を導入すること。
• 局所構造を保持し、高品質な再構成と判別的特徴学習を可能にするパラメータ効率の良いデコーダーを設計すること。
• 学習可能なフォールディング操作を通じて、2次元グリッドが任意の3次元点群表面を再構成するための普遍的な暗黙的構造として機能できることを示すこと。

提案手法

• エンコーダーは、局所的近傍構造を保持するためのグラフベースのマックスプーリングアーキテクチャを採用し、標準的なPointNetを上回る特徴学習を実現する。
• デコーダーは、学習済みのコードワードとグリッド点の特徴を連結し、3層のパーセプトロンを適用することで、標準的な2次元グリッドを3次元オブジェクト表面に変形するフォールディングベースの操作を採用する。
• 各フォールディング操作は、学習可能な微分可能な変換を介して2次元グリッドを3次元表面にマップする。2段階のフォールディング操作を逐次実行することで、複雑な形状の再構成が可能となる。
• フォールディング機構により、3次元表面に2次元多様体構造が暗黙的に強制され、3次元ボクセル化や点の任意の1次元順序付けの必要がなくなる。
• ModelNet40データセット上で400万イテレーションにわたり、Adam最適化アルゴリズム（初期学習率0.0001）を用いてエンドツーエンドでモデルを学習する。
• ボトルネック層からのコードワードを、下流の線形SVM分類のための埋め込みとして用い、表現品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なフォールディング操作を通じて、2次元グリッドが任意の3次元点群表面を再構成するための普遍的かつパラメータ効率の良い構造として使用可能か？
• RQ2 フォールディングベースのデコーダーは、全結合デコーダーと比較して再構成品質とパラメータ効率の面で優れているか？
• RQ3 FoldingNetが学習したコードワードは、下流の分類タスクにおける線形分離性をどの程度実現できるか？
• RQ4 グラフベースのエンコーダーは、グローバルプーリングと比較して、点群の位置の摂動に対してより頑健か？
• RQ5 少量のラベル付きデータしか利用できない状況でも、オートエンコーダーが教師なし表現学習においてどの程度有効か？

主な発見

• フォールディングベースのデコーダーは、全結合デコーダーと比較して顕著に低い再構成損失を達成しており、パラメータ数は7%（105万 vs. 1,520万）にまで削減された。
• FoldingNetオートエンコーダーのコードワードを用いたModelNet40における線形SVM分類精度は88.4%に達し、ベンチマークを上回った。
• ラベル付き学習データの1%（98サンプル）のみを用いても、テスト精度が55%を超えた。これは、学習済みコードワードが強い線形分離性を有していることを示している。
• 学習データの20%を用いた場合、分類精度は85%に達し、表5に示された多数の既存手法を上回った。
• 補足資料の表6では、2次元グリッド点が一様なランダム点よりも再構成性能に優れていることが示された。
• 補足セクション10では、グラフベースのエンコーダーが非グラフベースの代替手法よりも、点の位置のランダムな摂動に対してより頑健であることが実証された。