[論文レビュー] Learning Multi-resolution Functional Maps with Spectral Attention for Robust Shape Matching

Lei Li, Nicolas Donati+1 more|arXiv (Cornell University)|Oct 12, 2022

3D Shape Modeling and Analysis被引用数 14

ひとこと要約

本稿では、入力形状の特徴に応じて最適なスペクトル分解能を適応的に選択するため、スペクトルアテンション機構を用いてマルチスケール機能的マップを学習する、頑健な非剛性形状マッピングフレームワークを提案する。異なる分解能のマップを学習可能なアテンションモジュールで結合し、微分可能なスペクトルアップサンプリングを用いることで、手動でのスペクトル分解能チューニングを必要とせずに、近似的等長および非等長形状マッピングベンチマークの両方で最先端の性能を達成し、精度と頑健性の両面で既存手法を上回る。

ABSTRACT

In this work, we present a novel non-rigid shape matching framework based on multi-resolution functional maps with spectral attention. Existing functional map learning methods all rely on the critical choice of the spectral resolution hyperparameter, which can severely affect the overall accuracy or lead to overfitting, if not chosen carefully. In this paper, we show that spectral resolution tuning can be alleviated by introducing spectral attention. Our framework is applicable in both supervised and unsupervised settings, and we show that it is possible to train the network so that it can adapt the spectral resolution, depending on the given shape input. More specifically, we propose to compute multi-resolution functional maps that characterize correspondence across a range of spectral resolutions, and introduce a spectral attention network that helps to combine this representation into a single coherent final correspondence. Our approach is not only accurate with near-isometric input, for which a high spectral resolution is typically preferred, but also robust and able to produce reasonable matching even in the presence of significant non-isometric distortion, which poses great challenges to existing methods. We demonstrate the superior performance of our approach through experiments on a suite of challenging near-isometric and non-isometric shape matching benchmarks.

研究の動機と目的

• 機能的マップベースの形状マッチングにおけるスペクトル分解能ハイパーパramータ選択への感受性を解消すること。
• 深層学習モデルが入力形状の複雑さに応じて最適なスペクトル分解能を適応的に選択できるようにすること。
• 高分解能マップが誤差と過学習に陥りやすい非等長形状マッチングにおける頑健性を向上させること。
• 教師ありおよび教師なし学習を統合する1つのフレームワークを構築し、多様な形状タイプに一般化可能にすること。
• 手動による分解能選択に依存するのを減らし、アテンションを用いて分解能に敏感な表現を学習すること。

提案手法

• 同じ機能的マップネットワークを用いて、さまざまなスペクトル分解能で複数の機能的マップを計算する。
• スペクトルアテンションネットワークが、入力形状の特徴に基づいて各マルチスケールマップに適応的な重みを学習する。
• すべての中間マップを統一された分解能にあわせるために、微分可能なスペクトルアップサンプリングモジュールを用いる。
• 予測されたアテンション重みを用いて、すべてのマルチスケールマップの重み付き和として最終的な対応関係を計算する。
• 新たな損失関数が中間のマルチスケールマップおよび最終的な統合マップの両方をペナルティ化し、表現品質を向上させる。
• フレームワークは教師ありおよび教師なし学習をサポートしており、広範な適用性と既存の深層機能的マップアーキテクチャとの互換性を有する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、データに依存する形で非剛性形状マッチングの最適なスペクトル分解能を選択できるか？
• RQ2 アテンションを用いたマルチスケール機能的マップ表現は、単一分解能ベースラインと比較して非等長形状における頑健性をどのように向上させるか？
• RQ3 均一またはヒューリスティックな重み付け方式と比較して、スペクトルアテンションはどの程度マッチング精度を向上させるか？
• RQ4 提案手法は、異なる特徴バックボーンおよび学習パラダイム（教師あり／教師なし）に一般化可能か？
• RQ5 中間段階での監視（L_inter）を導入することで、最終的な対応関係品質が顕著に向上するか？

主な発見

• 教師なし学習下でSMALベンチマークにおいて、本手法は平均対応誤差5.4%を達成し、GeomFmaps（8.4%）および他のSOTA手法を上回った。
• 非等長FAUSTデータセットでは、Ours-Fastで5.8%の誤差率を達成し、均一重みベースライン（56.2%）を著しく上回った。
• スペクトルアテンションは、非等長形状に対して中間分解能マップ（50–150）に高い重みを割り当てることが学習された。これは、歪み下でも低分解能マップがより信頼性が高いことを示唆している。
• アブレーションスタディにより、中間監視（L_inter）が7.7ポイントの性能向上をもたらすことが確認され、表現学習における重要性が示された。
• 本手法はバックボーンに依存せず汎用的である：DiffusionNetからKPConvに置き換えても、誤差は9.4%から6.8%に改善され、広範な互換性を示した。
• スペクトルアテンション機構により、モデルが分解能選択を自動で適応可能にした。近似的等長形状では高分解能（150–200）を、非等長形状では低分解能（50–150）を好む傾向が観察された。