[論文レビュー] Correspondence Learning via Linearly-invariant Embedding

Riccardo Marin, Marie‐Julie Rakotosaona+2 more|arXiv (Cornell University)|Oct 25, 2020

3D Shape Modeling and Analysis参考文献 57被引用数 4

ひとこと要約

本稿では、固定されたラプラシアン＝ベルトラミ固有関数の代わりに、学習可能な線形不変埋め込みに置き換えることで、完全に微分可能でエンド・ツー・エンドで学習可能な、密度の高い3次元点群対応学習のフレームワークを提案する。この手法は、データ駆動型の基底と最適な記述子関数を同時に最適化し、学習された埋め込みに追加の線形自由度を備えることで、非剛性対応タスクにおける最先端の精度を達成する。

ABSTRACT

In this paper, we propose a fully differentiable pipeline for estimating accurate dense correspondences between 3D point clouds. The proposed pipeline is an extension and a generalization of the functional maps framework. However, instead of using the Laplace-Beltrami eigenfunctions as done in virtually all previous works in this domain, we demonstrate that learning the basis from data can both improve robustness and lead to better accuracy in challenging settings. We interpret the basis as a learned embedding into a higher dimensional space. Following the functional map paradigm the optimal transformation in this embedding space must be linear and we propose a separate architecture aimed at estimating the transformation by learning optimal descriptor functions. This leads to the first end-to-end trainable functional map-based correspondence approach in which both the basis and the descriptors are learned from data. Interestingly, we also observe that learning a \emph{canonical} embedding leads to worse results, suggesting that leaving an extra linear degree of freedom to the embedding network gives it more robustness, thereby also shedding light onto the success of previous methods. Finally, we demonstrate that our approach achieves state-of-the-art results in challenging non-rigid 3D point cloud correspondence applications.

研究の動機と目的

• 関数マップに基づく3次元対応学習における固定スペクトル基底の限界を解消すること。
• 挑戦的な変形条件下でも、非剛性3次元形状対応におけるロバストネスと精度を向上させること。
• 埋め込み基底と記述子関数の両方がデータから学習されるエンド・ツー・エンドで学習可能なパイプラインを開発すること。
• 学習された標準埋め込みが有益であるか、それとも追加の線形自由度を保持することで性能が向上するかを調査すること。

提案手法

• 従来のラプラシアン＝ベルトラミ固有関数の代わりに、形状関数を表現する基底を学習する微分可能なデータ駆動型埋め込みネットワークを導入する。
• 学習された埋め込みは、形状をより高次元の空間に写像し、最適な関数マップが線形に制約されるようにする。
• 別個のニューラルネットワークを訓練して、埋め込み空間における正確な対応推定を可能にする最適な記述子関数を学習する。
• パイプライン全体がエンド・ツー・エンドで微分可能であり、バックプロパゲーションによる埋め込みと記述子ネットワークの共同最適化が可能である。
• 関数マップのパラダイムを保ちつつ、スペクトル分解に依存するのではなく、基底を学習することで一般化する。
• 埋め込みに追加の線形自由度を明示的に保持することで、ロバストネスが向上することが示されている。

実験結果

リサーチクエスチョン

• RQ1 固定されたラプラシアン＝ベルトラミ固有関数ではなく、形状固有の埋め込みを学習することで、非剛性3次元形状マッチングにおける対応精度が向上するか？
• RQ2 埋め込み基底と記述子の両方がデータから学習されるエンド・ツー・エンドで学習可能な関数マップフレームワークを構築できるか？
• RQ3 標準埋め込み（すなわち固定基底）は、追加の線形自由度を有する基底よりもロバストネスに劣るのか？
• RQ4 本手法は、挑戦的な非剛性3次元対応ベンチマークにおいて、最先端の手法と比較してどうなるか？
• RQ5 線形不変性の性質が、学習された対応の安定性および一般化性能に与える影響は何か？

主な発見

• 提案手法は、非剛性3次元点群対応ベンチマークで最先端の性能を達成し、従来の関数マップに基づく手法を上回っている。
• 標準でない、線形不変性を有する埋め込みを学習することで、標準埋め込みを学習するのと比較して、より高いロバストネスと精度が得られる。
• エンド・ツー・エンドで微分可能な学習方式により、埋め込み基底と記述子関数の両方の共同最適化が可能となり、対応品質が向上した。
• 大きな変形を伴う挑戦的な非剛性形状において、本手法は固定スペクトル基底が失敗する状況でも優れた一般化性能を示した。
• アブレーションスタディにより、埋め込み空間に追加の線形自由度を保持することが性能向上に顕著に寄与することが確認された。
• データ駆動型基底学習が、スペクトル手法の制限を超えて関数マップフレームワークを強化することを結果が裏付けた。