[論文レビュー] Weakly Supervised Deep Functional Map for Shape Matching

Abhishek Sharma, Maks Ovsjanikov|arXiv (Cornell University)|Sep 28, 2020

Machine Learning in Materials Science被引用数 6

ひとこと要約

この論文は、わずかな監視情報とほぼ剛体なアライメントデータのみを用いて最先端の性能を達成する弱教師付き深層機能マップフレームワークを提案する。ラプラシアン固有関数の小さな集合を活用し、機能マップに基本的な構造的制約を課することで、完全に教師ありのアプローチを上回り、部分形状マッチングのための最初の学習ベースのソリューションを実現する。

ABSTRACT

A variety of deep functional maps have been proposed recently, from fully supervised to totally unsupervised, with a range of loss functions as well as different regularization terms. However, it is still not clear what are minimum ingredients of a deep functional map pipeline and whether such ingredients unify or generalize all recent work on deep functional maps. We show empirically minimum components for obtaining state of the art results with different loss functions, supervised as well as unsupervised. Furthermore, we propose a novel framework designed for both full-to-full as well as partial to full shape matching that achieves state of the art results on several benchmark datasets outperforming even the fully supervised methods by a significant margin. Our code is publicly available at https://github.com/Not-IITian/Weakly-supervised-Functional-map

研究の動機と目的

• 深層機能マップパイプラインにおける最小限の必須構成要因についての理解の不足を解消すること。
• 高価な真値対応関係を必要とする完全に教師ありの方法の制限を克服すること。
• 弱教師付き、特に近似的な剛体アライメントに基づく有効な学習ベースの形状マッチングを可能にすること。
• 機能マップを用いた部分非剛体形状マッチングのための最初の学習ベースの手法を開発すること。
• 最近の深層機能マップアプローチを統合・一般化し、コアで再利用可能な構成要因を同定すること。

提案手法

• 近似的な剛体アライメントに基づく弱教師付き信号を用いて、生メッシュから直接3次元形状記述子を学習する。
• 幾何的整合性を保ちながら複雑さを低減するために、学習済み特徴を低次元のラプラシアン固有基底（30成分）に射影する。
• 機能マップの構造的性質（例：直交性、低ランク構造）を強制する正則化項から成る非教師付き損失関数を適用する。
• ソースとターゲットのラプラシアン固有基底間の最適なアライメントをデータ駆動で学習する手法を導入し、部分形状マッチングのロバスト性を向上させる。
• 真値の点対点対応関係や複雑な正則化子を必要とせず、エンドツーエンドでモデルを訓練する。
• 異なる損失関数やデータセットに一般化可能な、1つのハイパーパrameterフリーの損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層機能マップベースの形状マッチングで最先端性能を達成するために必要な最小限の構成要因は何か？
• RQ2 近似的な剛体アライメントという弱教師付き信号が、高価な真値対応関係を置き換えつつ性能を維持または向上させられるか？
• RQ3 低ランクのラプラシアン固有基底表現と基本的な構造的制約を組み合わせることで、多様な損失関数やアーキテクチャに一般化できるか？
• RQ4 学習ベースの機能マップフレームワークを、形状の一部が欠損している部分マッチングに成功裏に拡張できるか？
• RQ5 複雑な正則化子や高価なテスト時最適化に依存せずに最先端性能を達成することは可能か？

主な発見

• 提案手法は、真値の対応関係を一切使用しないにもかかわらず、全形状マッチングベンチマークで完全に教師ありの最先端手法を上回る性能を達成した。
• ラプラシアン固有関数を30個のみ使用し、剛体アライメントによる弱教師付き信号を用いることで、複数の損失関数で最先端性能を達成した。
• SHREC’16の部分対応ベンチマークでも最先端性能を達成し、Litanyら（2017b）の非学習ベースの最先端手法を上回った。
• モデルはデータセットや損失関数に一般化可能であり、最小限の構成要因を用いる場合、複雑な正則化子や記述子は不要であることが示された。
• 部分形状マッチングに向けた本手法は、機能マップを用いた最初の学習ベースのアプローチであり、テスト時最適化なしに直接推論が可能である。
• 実験的アブレーションにより、従来のモデルから複雑な構成（例：真値マップ、正則化子）を削除し、本研究の最小限のパイプラインに置き換えることで、同等またはより良い結果が得られることを示した。