[論文レビュー] Deep Spectral Descriptors: Learning the point-wise correspondence metric via Siamese deep neural networks.

Zhiyu Sun, Yusen He+3 more|arXiv (Cornell University)|Oct 17, 2017

3D Shape Modeling and Analysis参考文献 2被引用数 10

ひとこと要約

本稿では、非等長形状間の幾何的不一致を直接測定できる埋め込み空間を学習する、シアンプス型の深層ニューラルネットワークであるDeep Spectral Descriptorsを提案する。この学習されたメトリクスでスペクトル記述子を再訓練することにより、従来のスペクトル記述子および最先端のベースラインと比較して、非等長形状マッチングタスクにおける登録精度を顕著に向上させる。

ABSTRACT

A robust and informative local shape descriptor plays an important role in mesh registration. In this regard, spectral descriptors that are based on the spectrum of the Laplace-Beltrami operator have gained a spotlight among the researchers for the last decade due to their desirable properties, such as isometry invariance. Despite such, however, spectral descriptors often fail to give a correct similarity measure for non-isometric cases where the metric distortion between the models is large. Hence, they are in general not suitable for the registration problems, except for the special cases when the models are near-isometry. In this paper, we investigate a way to develop shape descriptors for non-isometric registration tasks by embedding the spectral shape descriptors into a different metric space where the Euclidean distance between the elements directly indicates the geometric dissimilarity. We design and train a Siamese deep neural network to find such an embedding, where the embedded descriptors are promoted to rearrange based on the geometric similarity. We found our approach can significantly enhance the performance of the conventional spectral descriptors for the non-isometric registration tasks, and outperforms recent state-of-the-art method reported in literature.

研究の動機と目的

• 等長性が破れている場合に生じる大きなメトリクス歪みによって、従来のスペクトル記述子が不正確な類似性測定を行うという限界を解消すること。
• 等長性が破れている状況下で、標準的なスペクトル記述子が幾何的不一致を正確に捉えられないという本質的欠陥を克服すること。
• 埋め込み記述子間のユークリッド距離が幾何的類似性を直接反映する学習されたメトリクス空間を構築すること。
• 幾何的類似性に基づく記述子の再配置を強制するように、シアンプス型ニューラルネットワークを訓練すること。
• 従来のスペクトル手法および最近の最先端手法を上回る非等長形状ペアにおける登録パフォーマンスの向上を図ること。

提案手法

• シアンプス型の深層ニューラルネットワークアーキテクチャを用いて、従来のスペクトル記述子を新しいメトリクス空間に埋め込む。
• 類似する形状パッチ間の距離を最小化し、非類似パッチ間の距離を最大化するように、三つ組みに類似した損失関数でネットワークを訓練する。
• 非線形変換を学習し、幾何的類似性に基づいてスペクトル記述子を再編成する。
• 学習された埋め込み空間を活用し、記述子間のユークリッド距離が幾何的不一致を直接示すようにする。
• 対応するおよび非対応の形状パッチのペアを最適化に用いて、特徴量の区別能を高める。
• 最終的な埋め込み記述子が等長変形に対して不変であると同時に、非等長歪みに対して感受性を持つように保証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、非等長形状における記述子間のユークリッド距離が真の幾何的不一致を反映するメトリクス空間を効果的に学習できるか？
• RQ2 提案されたシアンプス型ネットワークベースの埋め込みは、非等長登録タスクにおいて標準的なスペクトル記述子をどのように改善するか？
• RQ3 学習された記述子空間は、挑戦的な非等長形状マッチングベンチマークにおいて、既存の最先端手法をどの程度上回るか？
• RQ4 この手法は等長性不変性を保ちつつ、非等長歪みへの感受性を獲得できるか？
• RQ5 このネットワークは、大きなメトリクス歪みを示す未観測の形状ペアに対しても一般化可能か？

主な発見

• 提案されたDeep Spectral Descriptorsは、従来のスペクトル記述子と比較して、非等長形状ペアにおける登録精度を顕著に向上させる。
• 本稿で報告された最近の最先端手法と比較して、非等長登録ベンチマークにおいて本手法が優れた性能を示す。
• 学習された埋め込み空間は、スペクトル記述子をユークリッド距離が幾何的不一致を直接示すメトリクスに変換することに成功した。
• シアンプス型ネットワークは、大きなメトリクス歪み下でも幾何的類似性に基づいた記述子の再配置を効果的に学習できる。
• 本手法は等長性不変性を維持しながら非等長変形への感受性を獲得しており、頑健な対応関係学習を可能にする。
• 標準的なスペクトル記述子が高歪みのために失敗する状況では、特に顕著な性能向上が得られる。