[論文レビュー] Unsupervised Partial Point Set Registration via Joint Shape Completion and Registration

Xiang Li, Lingjing Wang+1 more|arXiv (Cornell University)|Sep 11, 2020

3D Shape Modeling and Analysis参考文献 47被引用数 5

ひとこと要約

本稿では、共有潜在コードを通じて形状補完と剛体登録を同時に最適化することにより、部分点群登録のための教師なし深層学習手法を提案する。モデルは明示的な特徴エンコーディングを排除し、共有潜在コードのエンドツーエンド学習を採用しており、ModelNet40 において最先端の性能を達成しており、RMSE(R) が 1° 未満、RMSE(t) が 0.06 未満の結果を示す。これは 512 点欠損の状況下でも達成されている。

ABSTRACT

We propose a self-supervised method for partial point set registration. While recent proposed learning-based methods have achieved impressive registration performance on the full shape observations, these methods mostly suffer from performance degradation when dealing with partial shapes. To bridge the performance gaps between partial point set registration with full point set registration, we proposed to incorporate a shape completion network to benefit the registration process. To achieve this, we design a latent code for each pair of shapes, which can be regarded as a geometric encoding of the target shape. By doing so, our model does need an explicit feature embedding network to learn the feature encodings. More importantly, both our shape completion network and the point set registration network take the shared latent codes as input, which are optimized along with the parameters of two decoder networks in the training process. Therefore, the point set registration process can thus benefit from the joint optimization process of latent codes, which are enforced to represent the information of full shape instead of partial ones. In the inference stage, we fix the network parameter and optimize the latent codes to get the optimal shape completion and registration results. Our proposed method is pure unsupervised and does not need any ground truth supervision. Experiments on the ModelNet40 dataset demonstrate the effectiveness of our model for partial point set registration.

研究の動機と目的

• 深層学習ベースの手法における完全点群と部分点群登録の間の性能ギャップを解消すること。
• 入力形状が不完全または部分的に観測されている場合の登録精度の低下を克服すること。
• 部分登録のための自己教師付きフレームワークを設計することで、教師データに依存しないこと。
• 共有潜在コードの共同最適化により、同時に形状補完と登録を向上させること。
• 特徴エンコーディングネットワークを明示的に必要としない方法を構築し、アーキテクチャの複雑さを低減すること。

提案手法

• 各形状ペアに対して学習可能な潜在コードを導入し、明示的な特徴ネットワークを用いずに、グローバルな幾何的埋め込みを実現する。
• 形状補完ネットワークと点群登錻ネットワークとを、共有潜在コードとともに同時に学習する。
• 潜在コードを形状補完および登録ネットワークの両方の入力として使用し、相互に最適化を促進する。
• 訓練中に潜在コードを最適化し、部分入力からでも完全な形状幾何を表現できるようにする。
• 推論時においてはネットワーク重みを固定し、潜在コードのみを最適化することで、完成形状と正確な剛体変換を生成する。
• 再構成損失と登録損失を用いて、教師データとしての変換や形状が一切不要な教師なし学習で、システム全体を訓練する。

実験結果

リサーチクエスチョン

• RQ1 形状補完と登録の共同最適化は、部分点群における性能向上に寄与するか？
• RQ2 明示的な特徴エンコーダーと比較して、共有潜在コード表現は部分登録における一般化性とロバスト性を向上させるか？
• RQ3 潜在コード最適化を用いた教師なし学習は、従来の教師ありまたは弱教師あり手法をどの程度上回るか？
• RQ4 形状補完の導入により、教師データが欠如する状況下で剛体変換推定の精度がどの程度向上するか？
• RQ5 本手法は、点群の著しいスパarsity やノイズ下でも高い性能を維持できるか？

主な発見

• 768 点残存（640 点欠損）の ModelNet40 において、本手法は RMSE(R) 0.228857、RMSE(t) 0.057238 を達成し、部分入力でも優れた性能を示している。
• 512 点欠損の状況でも、航空機および椅子カテゴリで RMSE(R) < 5° および RMSE(t) < 0.06 を維持しており、高スパarsity に対してもロバストであることが示された。
• アブレーションスタディにより、形状補完モジュールが回転予測の精度を著しく向上させ、ベースラインの RMSE(R) 1.394375 から本手法の 0.228857 まで低下させた。
• 航空機カテゴリにおいて、DCP や PR-Net よりも優れた性能を示し、MSE(R) 0.058920（本手法）vs. 20.518583（DCP）、RMSE(t) 0.057238（本手法）vs. 0.039315（PR-Net）を達成した。
• 失敗事例は主に 512 点欠損時であり、潜在コード最適化が局所最適解に収束することで、回転誤差が高くなる（MSE(R) 最大 20.928）ことが原因である。
• 実験により、ガウスノイズに対しても本手法はロバストであることが示され、実世界の不完全なデータを扱う実用的価値があることが示された。