[論文レビュー] Weakly-supervised 3D Shape Completion in the Wild

Jiayuan Gu, Wei-Chiu Ma+6 more|arXiv (Cornell University)|Aug 20, 2020

Advanced Vision and Imaging参考文献 2被引用数 5

ひとこと要約

本稿では、密度の高い教師信号を必要とせず、微分可能プロジェクションと後悔学習を活用して部分点群から完全な形状を再構築する弱教師付き3次元形状補完手法を提案する。ShapeNetおよび実際のLiDARDatasetにおいて最先端の性能を達成し、初期値に対して頑健であり、SemanticKITTIにおけるトラックなど未学習カテゴリに対しても強力な一般化性能を示す。推論時のファインチューニング後、チェンバード距離は0.2942を記録した。

ABSTRACT

3D shape completion for real data is important but challenging, since partial point clouds acquired by real-world sensors are usually sparse, noisy and unaligned. Different from previous methods, we address the problem of learning 3D complete shape from unaligned and real-world partial point clouds. To this end, we propose a weakly-supervised method to estimate both 3D canonical shape and 6-DoF pose for alignment, given multiple partial observations associated with the same instance. The network jointly optimizes canonical shapes and poses with multi-view geometry constraints during training, and can infer the complete shape given a single partial point cloud. Moreover, learned pose estimation can facilitate partial point cloud registration. Experiments on both synthetic and real data show that it is feasible and promising to learn 3D shape completion through large-scale data without shape and pose supervision.

研究の動機と目的

• 部分点群のみが利用可能で密度の高い教師信号を伴わない弱教師付き3次元形状補完の課題に対処すること。
• 形状プロジェクションマッチングオブザーバーション損失項と後悔学習目的関数を導入することで、形状補完および部分点群の登録を改善すること。
• 推論時にファインチューニングを用いることで、実世界の新規カテゴリ（例：SemanticKITTIにおける駐車中のトラック）に対するゼロショット一般化を可能にすること。
• 従来の弱教師付き手法（例：DPC）と比較して、ランダム初期化に対する感受性を低減すること。
• 合成データ（ShapeNet）および実世界のLiDARDataset（3次元車両およびSemanticKITTIベンチマークを含む）の両方で手法を検証すること。

提案手法

• 本手法は、予測形状、その2次元プロジェクション、観測された部分点群の間の一貫性を強制する形状プロジェクションマッチングオブザーバーション損失を導入する。
• 訓練の安定性を向上させ、局所最適解への脆弱性を低減するため、後悔学習目的関数を採用し、収束性と性能を向上させる。
• 微分可能プロジェクション層を用いて3次元形状を2次元ビューにマップし、部分観測からのエンドツーエンド最適化を可能にする。
• 車両など対称的な物体に対しては、対称性に起因するポーズのあいまいさを軽減するため、2次元プロジェクションにおけるチェンバード距離最適化の変種を採用する。
• 新規カテゴリ（例：SemanticKITTIのトラック）に対して推論時にファインチューニングを実施し、最小限の監視情報で未学習データに適応可能にする。
• 学習済み形状特徴のt-SNE可視化により、類似形状に対して意味的に類似した表現が捉えられていることが確認された。

実験結果

リサーチクエスチョン

• RQ1 形状プロジェクションマッチングオブザーバーション損失は、単にオブザーバーションマッチングシェイプに比べて、形状補完の性能向上にどの程度有効か？
• RQ2 後悔学習目的関数は、弱教師付き3次元形状補完における訓練の不安定性を顕著に低減し、収束性を改善できるか？
• RQ3 推論時にファインチューニングを実施した場合、SemanticKITTIにおけるトラックなど実世界の新カテゴリへの一般化性能はどの程度達成できるか？
• RQ4 訓練時の入力ビュー数が、3次元形状補完および登録タスクの性能に与える影響はどの程度か？
• RQ5 DPCなどの先行弱教師付きベースラインと比較して、本手法はランダム初期化に対してどの程度感受性が低いのか？

主な発見

• ShapeNetでは、本手法がチェンバード距離1.65（×100）、精度0.77、カバレッジ0.88を達成し、形状プロジェクションマッチングオブザーバーション項や後悔損失を含まないアブレーションと比較して優れた性能を示した。
• アブレーションスタディの結果、形状プロジェクションマッチングオブザーバーション項を削除するとチェンバード距離が上昇し、カバレッジが低下することが確認され、この項が予測と観測の整合性を保つ上で重要であることが裏付けられた。
• ランダム初期化に起因する性能のばらつきが低減され、ShapeNetにおけるチェンバード距離の標準偏差は0.03にまで低下した。これはDPCの0.81と比べ顕著に低い。
• 3次元車両データセットでは、1インスタンスあたり4ビューを用いることで性能と計算量の最良のトレードオフが達成され、チェンバード距離0.261を記録した。
• SemanticKITTIのトラックに対してファインチューニングを実施した後、チェンバード距離0.2942、ポーズ精度86.74%、中央角差分2.08°を達成し、強力なゼロショット一般化性能を示した。
• t-SNE可視化により、類似形状が意味的に意味のあるクラスタを形成し、類似した形状が近い特徴表現を持つことが確認された。