[論文レビュー] Multi-Angle Point Cloud-VAE: Unsupervised Feature Learning for 3D Point Clouds from Multiple Angles by Joint Self-Reconstruction and Half-to-Half Prediction

Zhizhong Han, Xiyang Wang+2 more|arXiv (Cornell University)|Jul 30, 2019

3D Shape Modeling and Analysis参考文献 39被引用数 10

ひとこと要約

本論文では、複数の視点からの半分対半分予測と自己再構成を組み合わせることで、グローバルおよびローカルな3Dポイントクラウドの幾何構造を共同で学習する非教師あり深層学習モデル、Multi-Angle Point Cloud-VAE (MAP-VAE) を提案する。異なる視点からポイントクラウドを前方と後方の半分に分割し、RNNベースの予測器を用いて前方から後方を再構成するように学習させることで、細粒度のローカル構造を捉えつつ、変分オートエンコーダーを用いてグローバル形状の再構成を実現し、形状分類、補完、生成タスクで最先端の性能を達成する。

ABSTRACT

Unsupervised feature learning for point clouds has been vital for large-scale point cloud understanding. Recent deep learning based methods depend on learning global geometry from self-reconstruction. However, these methods are still suffering from ineffective learning of local geometry, which significantly limits the discriminability of learned features. To resolve this issue, we propose MAP-VAE to enable the learning of global and local geometry by jointly leveraging global and local self-supervision. To enable effective local self-supervision, we introduce multi-angle analysis for point clouds. In a multi-angle scenario, we first split a point cloud into a front half and a back half from each angle, and then, train MAP-VAE to learn to predict a back half sequence from the corresponding front half sequence. MAP-VAE performs this half-to-half prediction using RNN to simultaneously learn each local geometry and the spatial relationship among them. In addition, MAP-VAE also learns global geometry via self-reconstruction, where we employ a variational constraint to facilitate novel shape generation. The outperforming results in four shape analysis tasks show that MAP-VAE can learn more discriminative global or local features than the state-of-the-art methods.

研究の動機と目的

• 局所的な自己教師信号が不十分であるため、従来の非教師あり3Dポイントクラウド手法が有効な局所幾何構造を学習できないという限界を解決すること。
• 複数の視点分析を導入することで、意味的で視点ベースの局所自己教師信号を生成し、特徴の識別性を向上させること。
• 自己再構成と半分対半分予測を共同で最適化することで、同時にグローバルおよびローカルな幾何構造を学習すること。
• 学習された分離可能な特徴空間を用いて、高精細な新規形状生成およびポイントクラウド補完を可能にすること。
• ポイントクラウドから局所的幾何的詳細を抽出するための一貫性のある、視点に基づく分割機構を提供すること。

提案手法

• 複数の段階的視点からポイントクラウドをレンダリングすることでマルチアングル分析を導入し、局所的自己教師信号を得るための前方・後方分割を生成する。
• 各ポイントクラウドを各視点から前方半分と後方半分に分割し、複数のペアドシーケンスを訓練用に作成する。
• RNNベースのデコーダーを訓練して、対応する前方シーケンスから後方シーケンスを予測させることで、局所的幾何構造および空間的関係の学習を可能にする。
• 完全なポイントクラウドを潜在変数から再構成するための変分オートエンコーダー（VAE）損失と同時に最適化することで、グローバル構造を捉え、形状生成を可能にする。
• 潜在空間の正則化のため、VAEの目的関数にKLダイバージェンス項を適用し、サンプリングと新しい現実的な形状の生成を可能にする。
• ラベルの微調整なしに、分類、補完、生成などの下流タスクにエンドツーエンドでモデルを適用し、学習された特徴を活用する。

実験結果

リサーチクエスチョン

• RQ1 マルチアングル分析は、非教師あり3Dポイントクラウド特徴学習におけるより効果的で意味的な局所的自己教師信号を提供できるか？
• RQ2 半分対半分予測と自己再構成を共同で最適化することで、グローバル再構成に依存する手法と比較して、学習された特徴の識別力が向上するか？
• RQ3 提案手法は、潜在空間から詳細な局所幾何構造を有する高精細な新規3D形状を生成できるか？
• RQ4 部分入力下で、MAP-VAEはSOTA手法と比較してポイントクラウド補完タスクでどの程度の性能を示すか？
• RQ5 モデルは、局所的およびグローバルな幾何構造を捉える分離可能な表現をどの程度学習しているか？

主な発見

• MAP-VAEはModelNet10ベンチマークで86.25%の精度を達成し、SOTA手法であるLGA1（77.33%）を上回った。
• ポイントクラウド補完において、MAP-VAEは航空機クラスでEMD 0.032328、椅子クラスで0.055696を達成し、PCN-EMD や LGAN を含むすべての競合手法を上回った。
• 視覚的比較では、特にコーナーや四肢のような部分で、MAP-VAEはLGA1 や LGAN よりも鋭いエッジとより詳細な局所幾何構造を持つポイントクラウドを生成した。
• 潜在変数からのサンプリングにより、高精細な新規形状を生成でき、同じクラスの中心から100個の航空機が生成された結果、一貫性があり現実的な変異を示した。
• 異なるクラス間の形状補間は、現実的で滑らかな遷移を示し、学習された潜在空間の分離可能で意味のある性質を裏付けた。
• アブレーションスタディの結果、マルチアングル分析と半分対半分予測が局所的特徴学習を顕著に向上させ、アブレーションバージョンはすべてのベンチマークで性能を発揮しなかった。