[論文レビュー] Geometric Capsule Autoencoders for 3D Point Clouds

Nitish Srivastava, Hanlin Goh+1 more|arXiv (Cornell University)|Dec 6, 2019

3D Shape Modeling and Analysis参考文献 21被引用数 14

ひとこと要約

本稿では、3次元点群に対して、ポーズ不変の幾何的カップルを用いて、階層的かつ解釈可能なオブジェクト部品と全体オブジェクトを教師なしで学習する幾何的カップルオートエンコーダーを提案する。主な革新は、標準ポーズの特定とポーズ不変特徴学習を可能にするマルチビュー整合性投票メカニズムであり、ModelNet40およびShapeNetの回転させたオブジェクトにおいて94.3%のトップ1リtrieval正答率を達成した。

ABSTRACT

We propose a method to learn object representations from 3D point clouds using bundles of geometrically interpretable hidden units, which we call geometric capsules. Each geometric capsule represents a visual entity, such as an object or a part, and consists of two components: a pose and a feature. The pose encodes where the entity is, while the feature encodes what it is. We use these capsules to construct a Geometric Capsule Autoencoder that learns to group 3D points into parts (small local surfaces), and these parts into the whole object, in an unsupervised manner. Our novel Multi-View Agreement voting mechanism is used to discover an object's canonical pose and its pose-invariant feature vector. Using the ShapeNet and ModelNet40 datasets, we analyze the properties of the learned representations and show the benefits of having multiple votes agree. We perform alignment and retrieval of arbitrarily rotated objects -- tasks that evaluate our model's object identification and canonical pose recovery capabilities -- and obtained insightful results.

研究の動機と目的

• 3次元点群から教師なしで解釈可能で幾何的に意味のあるオブジェクト表現を学習すること。
• 教師なしで標準オブジェクトポーズとポーズ不変特徴ベクトルを発見すること。
• 離散的な計算的実体（幾何的カップル）を用いて、部品と全体オブジェクト間の階層的関係をモデル化すること。
• オブジェクトレベルのカップルからのトップダウンガイダンスを用いて、部品レベルの解釈のあいまいさを解消すること。
• アライメントとリtrievalタスクを通じて、オブジェクト回転に対するモデルの頑健性を評価すること。

提案手法

• 各幾何的カップルは、6自由度のポーズ（位置と方向）と、形状およびアイデンティティを表す特徴ベクトルを用いて視覚的実体を符号化する。
• 本モデルは、3次元点を局所的な表面部品にグループ化するPointsToPartsオートエンコーダーを用い、各部品はポーズと特徴を持つカップルで表現される。
• 本稿で初めて導入されたマルチビュー整合性メカニズムは、複数の視点からの投票を集約し、オブジェクト全体の標準ポーズと不変特徴を推定する。
• PartsToObjectレイヤーは、オブジェクトカップルからのトップダウンアテンションを用いて部品カップルのルーティングをガイドし、入力と出力の部品分解を分離する。
• 再構成損失と、複数の視点間での合意を促進するルーティング機構を用いて、エンドツーエンドでモデルを訓練する。
• 3次元回転を表現するためにクaternionが用いられ、幾何的解釈可能性を保ちつつ有効な回転に制約される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、完全に教師なしで3次元点群から標準オブジェクトポーズとポーズ不変特徴表現を学習できるか？
• RQ2 マルチビュー整合性は、異なる視点間で一貫したオブジェクトレベル表現を発見するのにどの程度効果的か？
• RQ3 学習された表現は、オブジェクト回転に対してどの程度不変であり、部品レベルのポーズ変化に対してはどの程度等長性を示すか？
• RQ4 従来のアーキテクチャと比較して、幾何的カップルは生の点群から局所的で意味のある部品をどの程度効果的に学習できるか？
• RQ5 モデルは任意の回転下でもオブジェクトリtrievalおよびアライメントタスクに一般化できるか？

主な発見

• 本モデルは、ModelNet40およびShapeNetの回転させたオブジェクトにおいて、94.3%のトップ1リtrieval正答率と95.9%のトップ10正答率を達成し、強力なポーズ不変表現学習を示した。
• 1-NN分類正答率が96.0%であることは、ランダムな回転後でもモデルが常に正しいオブジェクトインスタンスを正しくリtrieveできることを示している。
• PartsToObjectレイヤーを用いることでオブジェクト回転に対する高い不変性を示したが、部品カップルのみを用いた場合に顕著に性能が低下したため、完全なオートエンコーダー構造の重要性が示された。
• 可視化結果から、部品カップルは局所的で滑らかな表面領域を検出するよう学習しており、ポーズと特徴の明確な分離のおかげで、3DCapsNetなどの先行手法よりもより局所的な部品を捉えている。
• 本モデルの標準ポーズ発見は完全に一意ではないが、マルチビュー整合性により複数の視点間での一貫性と頑健性が著しく向上した。
• ポイント回転設定下での1-NN分類正答率が44%であることは、正確なインスタンスマッチングが失敗する一方で、クラスレベルの一般化は保持されていることを示唆している。