[論文レビュー] Learning 3D Dense Correspondence via Canonical Point Autoencoder

An-Chieh Cheng, Xueting Li+3 more|arXiv (Cornell University)|Jul 10, 2021

3D Shape Modeling and Analysis参考文献 29被引用数 14

ひとこと要約

本論文は、ボトルネックで標準化されたUV球に非整列で順序のない点群をマッピングすることで、密集した3次元形状対応を学習する標準化点オートエンコーダ（CPAE）を提案する。自己教師付きの目的関数を用いることで、アノテーションを一切用いずに点レベルの対応予測が可能となり、非整列形状における3次元キーポイント転送およびパーツセグメンテーション転送で最先端の性能を達成した。

ABSTRACT

We propose a canonical point autoencoder (CPAE) that predicts dense correspondences between 3D shapes of the same category. The autoencoder performs two key functions: (a) encoding an arbitrarily ordered point cloud to a canonical primitive, e.g., a sphere, and (b) decoding the primitive back to the original input instance shape. As being placed in the bottleneck, this primitive plays a key role to map all the unordered point clouds on the canonical surface and to be reconstructed in an ordered fashion. Once trained, points from different shape instances that are mapped to the same locations on the primitive surface are determined to be a pair of correspondence. Our method does not require any form of annotation or self-supervised part segmentation network and can handle unaligned input point clouds. Experimental results on 3D semantic keypoint transfer and part segmentation transfer show that our model performs favorably against state-of-the-art correspondence learning methods.

研究の動機と目的

• 教師なしのアノテーションやパーツセグメンテーションの監督なしに、密集した3次元形状対応を学ぶ課題に対処すること。
• 同じカテゴリに属する、非整列で任意の順序の3次元点群間での対応学習を可能にすること。
• 点レベルの対応を明示的に符号化する、具体的にはUV球である標準化空間を構築すること。
• 推論時に明示的な回転推定を必要としない、回転不変の対応予測を達成すること。
• 学習された対応を用いて、3次元セマンティックキーポイント転送やパーツセグメンテーションラベル転送などの下流タスクを可能にすること。

提案手法

• 点オートエンコーダアーキテクチャを用い、ボトルネック空間としてUV球を標準化空間とすることで、形状間で一貫したマッピングを強制する。
• エンコーダを入力点群を球面にマップするように学習させ、デコーダを標準化点群から元の形状を再構築するように学習させる。
• ボトルネックで自己教師付きの適応的チェンバーロスを適用し、インスタンス固有のプリミティブな調整を可能にするとともに、トポロジーの変化に対応する。
• 2段階の訓練パラダイムを採用：まず再構築損失と標準化変形損失で事前学習を行い、その後クロス再構築損失と対応損失で微調整する。
• ポイントネット風のグローバル特徴符号化とMLPベースのフォールディング操作を活用し、点の順序を保持するとともに、構造的なデコードを可能にする。
• 対応予測の信頼度スコアを導入し、穴や形状変化などの不確実な領域を強調する。

実験結果

リサーチクエスチョン

• RQ1 教師なしで、非整列な3次元形状間の点レベルの密集対応を、標準化球ボトルネックが効果的に学習できるか。
• RQ2 本手法は、アームレストの有無など、トポロジーが異なる形状（例：椅子）に対しても一般化できるか。
• RQ3 学習された対応が、3次元キーポイント転送やパーツセグメンテーションラベル転送といった下流タスクにどの程度寄与できるか。
• RQ4 明示的な回転予測を必要とせず、回転不変性と形状変化への耐性をどのように達成できるか。
• RQ5 適応的チェンバーロスが、スパarsなまたは不完全な領域における不確実性のモデル化と、対応精度の向上に与える影響は何か。

主な発見

• CPAEは、KeypointNetデータセットにおいて、先行手法を上回る最先端の性能を示し、3次元セマンティックキーポイント転送で優れた結果を得た。
• パーツセグメンテーションラベル転送の結果、大規模なクラス内形状変動がある中でも、小さな細かなパーツ（例：マグカップのハンドル、旅客機の尾翼）への正確なラベル転送が可能であった。
• 非整列入力に対しても良好に一般化され、回転不変性を維持しており、推論時に明示的な回転推定の必要がなかった。
• 1形状ペアあたりの推論時間は0.03秒（2048点）と高速で、パラメータ数はわずか207万のコンactなモデルであった。
• 対応の信頼度ヒートマップは、形状変化（例：異なるマグカップのハンドルやギターのボディ）に起因する不確実な領域を的確に特定し、モデルの信頼性を示した。
• 本手法は、[12]のような先行自己教師付き手法よりも優れており、パーツベースの分解を回避し、直接的な密対応学習を可能にした。