[論文レビュー] FoldingNet: Interpretable Unsupervised Learning on 3D Point Clouds

Yaoqing Yang, Chen Feng+2 more|arXiv (Cornell University)|Dec 19, 2017

3D Shape Modeling and Analysis参考文献 7被引用数 55

ひとこと要約

本稿では、グラフ拡張されたPointNetエンコーダーと、新しいフォールディングベースのデコーダーを用いた、非教師付き3次元点群学習を目的としたエンドツーエンドの深層オートエンコーダーであるFoldingNetを提案する。フォールディングデコーダーは2次元グリッドから3次元点群を再構築するが、全結合デコーダーと比較してパラメータ数がわずか7%に抑えられ、より高い線形SVM分類精度を達成するとともに、解釈可能で構造を保全する再構築プロセスを提供する。

ABSTRACT

Recent deep networks that directly handle points in a point set, e.g., PointNet, have been state-of-the-art for supervised semantic learning tasks on point clouds such as classification and segmentation. In this work, a novel end-to-end deep auto-encoder is proposed to address unsupervised learning challenges on point clouds. On the encoder side, a graph-based enhancement is enforced to promote local structures on top of PointNet. Then, a novel folding-based approach is proposed in the decoder, which folds a 2D grid onto the underlying 3D object surface of a point cloud. The proposed decoder only uses about 7\% parameters of a decoder with fully-connected neural networks, yet leads to a more discriminative representation that achieves higher linear SVM classification accuracy than the benchmark. In addition, the proposed decoder structure is shown, in theory, to be a generic architecture that is able to reconstruct an arbitrary point cloud from a 2D grid. Finally, this folding-based decoder is interpretable since the reconstruction could be viewed as a fine granular warping from the 2D grid to the point cloud surface.

研究の動機と目的

• ラベル付きデータが限られる非教師付き3次元点群の表現学習に取り組む。
• 教師信号に依存せずにオートエンコーディングにおける特徴の判別能を向上させる。
• 幾何的構造を再構築時に保全する、軽量かつ強力なデコーダーを設計する。
• 2次元グリッドからの微細な変形（ワープ）として再構築をモデル化することにより、3次元再構築を解釈可能にする。

提案手法

• エンコーダーは、入力点群内の局所的な幾何的構造をよりよく捉えるために、PointNetの上にグラフベースの拡張を適用する。
• 潜在表現として2次元グリッドが用いられ、その後、学習可能な関数を介して点群の3次元座標を予測する。
• フォールディング操作は、局所的な変形を学習する微分可能でパラメータ効率の良い関数を介して、各2次元グリッド点を3次元座標にマップする。
• デコーダーはエンドツーエンドで訓練され、再構築損失を最小化するように最適化される。
• 理論的分析により、フォールディング機構が任意の点群を2次元グリッドから再構築可能な汎用的なアーキテクチャであることが示された。
• 再構築を2次元グリッドの3次元表面へのワープとして見なすことにより、生成プロセスを解釈可能にする。

実験結果

リサーチクエスチョン

• RQ1 2次元グリッドは、3次元点群再構築のためのコンactかつ効果的な潜在表現として利用可能か？
• RQ2 非教師付きオートエンコーディングにおいて、点群内の局所的幾何的構造をどのようによりよく保全できるか？
• RQ3 フォールディングベースのデコーダーは、全結合デコーダーと比較して顕著に少ないパラメータ数で優れた判別的表現を達成できるか？
• RQ4 フォールディング機構は解釈可能であり、再構築を2次元から3次元へのワーププロセスとして解釈可能か？
• RQ5 提案されたオートエンコーダーは、既存の非教師付きベースラインと比較して、より優れた下流の線形分類性能を達成するか？

主な発見

• フォールディングベースのデコーダーは、全結合デコーダーと比較してパラメータ数が約7%に抑えられながらも、より高い線形SVM分類精度を達成した。
• 提案モデルは、ベンチマーク手法と比較して、非教師付き点群学習におけるより優れた判別的表現を達成した。
• 理論的分析により、フォールディングデコーダーが任意の点群を2次元グリッドから再構築可能な汎用的アーキテクチャであることが確認された。
• 再構築プロセスは解釈可能であり、2次元グリッドを3次元表面に微細にワープするプロセスとして解釈できる。
• グラフ拡張エンコーダーは局所構造学習を向上させ、より良い全体的な再構築品質と表現品質に寄与した。