[論文レビュー] Non-rigid Point Cloud Registration with Neural Deformation Pyramid

Yang Li, Tatsuya Harada|arXiv (Cornell University)|May 25, 2022

3D Shape Modeling and Analysis被引用数 14

ひとこと要約

本稿では、周波数を増加させる正弦波符号化をピラミッド型MLPに用いることで、複雑な変形をスケールごとの運動レベルに分解する階層的ディープラーニング手法であるニューラル変形ピラミッド（NDP）を提案する。NDPは4DMatch/4DLoMatchベンチマークにおいて最先端の性能を達成し、従来の座標ネットワークベースの手法と比較して50倍以上高速に動作する。

ABSTRACT

Non-rigid point cloud registration is a key component in many computer vision and computer graphics applications. The high complexity of the unknown non-rigid motion make this task a challenging problem. In this paper, we break down this problem via hierarchical motion decomposition. Our method called Neural Deformation Pyramid (NDP) represents non-rigid motion using a pyramid architecture. Each pyramid level, denoted by a Multi-Layer Perception (MLP), takes as input a sinusoidally encoded 3D point and outputs its motion increments from the previous level. The sinusoidal function starts with a low input frequency and gradually increases when the pyramid level goes down. This allows a multi-level rigid to nonrigid motion decomposition and also speeds up the solving by 50 times compared to the existing MLP-based approach. Our method achieves advanced partialto-partial non-rigid point cloud registration results on the 4DMatch/4DLoMatch benchmark under both no-learned and supervised settings.

研究の動機と目的

• 未知の大型変形と部分的オーバーラップによる非剛性点群登録の高コストな複雑さに対処すること。
• 教師なしおよび教師ありの両設定下で、部分対部分の点群マッチングにおける登録精度と速度を向上させること。
• グローバルからローカルへの非剛性運動を、マルチレベルのニューラルアーキテクチャを用いてモデル化すること。
• 形状転送応用向けに、効率的で連続的な変形場予測を可能にすること。

提案手法

• NDPは、各レベルが正弦波符号化された3次元座標に基づき、直前のレベルからの運動増分を予測するMLPのピラミッド構造を採用する。
• 正弦波符号化の周波数はピラミッドの上位から下位へと増加し、粗いから細かい運動分解を実現する：低周波数は剛体に近い運動を、高周波数は微細な非剛性の詳細を捉える。
• 1イテレーションあたり1つのMLPのみを照会する階層的最適化スキームを採用することで、計算オーバーヘッドを顕著に低減する。
• 外れ値や部分的オーバーラップに強いように、$L_1$-ノルムのチャムファーディスタンス損失を採用し、さまざまなワープフィールドタイプ（例：SE(3), Sim(3), R^3）と回転表現（軸角、オイラー角、クaternion）を評価する。
• 連続的な変形場を提供するため、ソースメッシュの頂点を直接変形可能であり、領域ごとのスケール変化を伴う形状転送応用が可能になる。
• 教師なしおよび教師ありの両設定で評価され、損失関数、運動場タイプ、回転表現に関するアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 階層的運動分解は、非剛性点群登録の精度と効率を向上させ得るか？
• RQ2 ピラミッドの各レベルで入力周波数を増加させることで、変形モデリング能力にどのような影響を与えるか？
• RQ3 異なる損失関数（例：$L_1$ 対 $L_2$）は、部分対部分登録のロバストネスにどのような影響を与えるか？
• RQ4 どのワープフィールドタイプ（SE(3), Sim(3), R^3）と回転表現（軸角、オイラー角、クaternion）が最高の登録性能と収束速度を達成するか？
• RQ5 NDPは、非剛性変形における領域固有のスケール変化を伴う有効な形状転送を可能にするか？

主な発見

• NDPは、教師なしおよび教師ありの両設定下で、4DMatch/4DLoMatchベンチマークにおける部分対部分非剛性登録で最先端の性能を達成した。
• 従来の座標ネットワークベースの手法（例：Nerfies）と比較して、50倍以上高速に動作し、推論効率が顕著に向上した。
• 外れ値や非オーバーラップ領域からの大きな誤差に強いことから、$L_1$-ノルム損失が$L_2$-ノルムを上回る性能を発揮した。
• SE(3)ワープフィールドは、Sim(3) や R^3 フィールドよりも優れた結果を示し、Sim(3) はスケールパラメータ推定の追加により収束に多くのイテレーションを要した。
• クaternion や 6次元表現と比較して、軸角およびオイラー角表現がより高い性能と高速な収束を達成した。
• MixamoおよびDeformingThings4Dのキャラクタを用いた実験により、領域ごとのスケール変化を伴う現実的で効果的な形状転送が成功裏に実現された。