[論文レビュー] Recurrent Multi-view Alignment Network for Unsupervised Surface Registration

Wanquan Feng, Juyong Zhang+4 more|arXiv (Cornell University)|Nov 24, 2020

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

本稿では、教師なし非剛性表面登錧用の再帰的マルチビュー整合化ネットワーク、RMA-Netを提案する。非剛性変形をK個の剛性変形の点毎の重み付き組み合わせとして表現し、教師なしでエンドツーエンド学習が可能な微分可能マルチビュー2次元深度損失を用いることで、複数のデータセットにおいて大規模および微細な変形の両方で最先端の性能を達成した。

ABSTRACT

Learning non-rigid registration in an end-to-end manner is challenging due to the inherent high degrees of freedom and the lack of labeled training data. In this paper, we resolve these two challenges simultaneously. First, we propose to represent the non-rigid transformation with a point-wise combination of several rigid transformations. This representation not only makes the solution space well-constrained but also enables our method to be solved iteratively with a recurrent framework, which greatly reduces the difficulty of learning. Second, we introduce a differentiable loss function that measures the 3D shape similarity on the projected multi-view 2D depth images so that our full framework can be trained end-to-end without ground truth supervision. Extensive experiments on several different datasets demonstrate that our proposed method outperforms the previous state-of-the-art by a large margin. The source codes are available at https://github.com/WanquanF/RMA-Net.

研究の動機と目的

• ラベル付き対応関係が存在しない状況下で、深層ネットワークを非剛性表面登錧に訓練する課題に対処すること。
• 非剛性変形の高次元解空間を、少数の剛性変形の組み合わせとして表現することで低減すること。
• エンドツーエンド学習を可能にする微分可能で自己教師付きの損失関数を設計し、マルチビュー深度画像の類似性を用いること。
• 大規模および微細な変形、特に実スキャンデータや顔の表情に対しても、ロバストな登錧を可能にすること。
• 剛性登錧への応用を含め、汎用性を示すためにフレームワークを拡張し、競争力のある性能を示すこと。

提案手法

• 非剛性変形を、表面の点数に比べて小さいK個の剛性変形の点毎の重み付き組み合わせとして表現する。
• 各段階で変形重みと剛性成分を段階的に推定する再帰的ニューラルネットワークを採用し、1ステップあたりの計算複雑度を低減する。
• 3次元表面をソフトラスタライゼーションを用いてマルチビュー2次元深度画像とマスクに投影し、微分可能性を確保する。
• ソースとターゲットの投影画像間の深度およびマスク類似性に基づく微分可能なマルチビュー整合損失を定義する。
• 教師なしで、対応関係が存在しない状況下でも、マルチビュー損失のみを用いてネットワーク全体をエンドツーエンドで学習する。
• 点群を微分可能な深度マップおよびマスクにレンダリングするため、ソフトラスタライゼーションを用いる。

実験結果

リサーチクエスチョン

• RQ1 再帰的ネットワークは、剛性変形成分を段階的に改善することで、複雑な非剛性変形を効果的に学習できるか？
• RQ2 教師なし状況下で、2次元深度画像の類似性が、対応関係が存在しない3次元非剛性登錧に強力で微分可能な監督信号として機能できるか？
• RQ3 提案された剛性変形の点毎の組み合わせは、効果的な学習を可能にするために解空間を制限しつつ、十分な表現力を持つのか？
• RQ4 本手法は、合成ベンチマークを超えて、大規模・微細な変形および実スキャンデータに対しても汎用性を示せるか？
• RQ5 本手法は、非剛性および剛性登錧の両設定において、教師ありおよび教師なしのベースラインと比較してどのように性能を発揮するか？

主な発見

• FaceWareHouseデータセットでは、RMA-Netは全手法中最も低いEMD（0.0024）およびMSE（0.0008）を達成し、唯一、開いた口を閉じる能力を持つ手法であった。
• DFAUSTデータセットでは、RMA-NetはChamfer Distance 0.24×10⁻⁴を達成し、3D-Coded（0.43×10⁻⁴）を著しく上回り、微細な幾何的詳細を保持した。
• ModelNet40における剛性登錧では、RMA-Netは教師なし設定でRMSE(R) 1.287、教師ありバージョンで0.735を達成し、ICP、Go-ICP、FGR、DCPを上回った。
• アブレーションスタディにより、再帰的アーキテクチャおよびマルチビュー損失の両方が不可欠であることが確認され、いずれかのコンponentを除去すると性能が著しく低下した。
• 本手法は、全身や顔の表情など、挑戦的な大規模変形に対しても、従来手法が高精度の詳細を捉えられなかった状況でも、成功裏に登錧を実行した。
• 微分可能なマルチビュー損失は、Chamfer Distance やEarth Mover’s Distance といった標準的な指標よりも、ネットワークの収束を正確な解へと導く上で優れていた。