[論文レビュー] Deep Shells: Unsupervised Shape Correspondence with Optimal Transport

Marvin Eisenberger, Aysim Toker+2 more|arXiv (Cornell University)|Oct 28, 2020

3D Shape Modeling and Analysis参考文献 42被引用数 31

ひとこと要約

本論文は Deep Shells を紹介します。これは、エントロピー正則化された最適輸送を多尺度で微分可能なパイプラインとスペクトルCNN特徴と統合し、良好な初期化を学習し、対応をエンドツーエンドで改良する無監督の3D形状対応手法です。FAUST/SCAPE でポストプロセスなしに最先端の性能を達成し、未知データへ一般化します。

ABSTRACT

We propose a novel unsupervised learning approach to 3D shape correspondence that builds a multiscale matching pipeline into a deep neural network. This approach is based on smooth shells, the current state-of-the-art axiomatic correspondence method, which requires an a priori stochastic search over the space of initial poses. Our goal is to replace this costly preprocessing step by directly learning good initializations from the input surfaces. To that end, we systematically derive a fully differentiable, hierarchical matching pipeline from entropy regularized optimal transport. This allows us to combine it with a local feature extractor based on smooth, truncated spectral convolution filters. Finally, we show that the proposed unsupervised method significantly improves over the state-of-the-art on multiple datasets, even in comparison to the most recent supervised methods. Moreover, we demonstrate compelling generalization results by applying our learned filters to examples that significantly deviate from the training set.

研究の動機と目的

• 平滑なシェルにおける高コストな事前姿勢初期化を、入力表面から学習された初期化に置き換える。
• エントロピー正則化された最適輸送に基づく、微分可能で階層的なマッチングパイプラインを開発する。
• 対応を改善するために、滑らかなスペクトル畳み込みフィルタに基づく局所特徴抽出器を組み込む。
• 監視なしで、外在的および内在的幾何情報のバランスをとりながらエンドツーエンドの訓練を可能にする。

提案手法

• 内在特徴と外在特徴を用いて入力形状を直積空間に埋め込む。
• 微分可能性を実現するため、ファジーな対応 π を用いたエントロピー正則化OTとしてマッチングを定式化する。
• ニューラルネットワーク枠組み内で π を効率的に最適化するために Sinkhorn 反復を使用する。
• 交互最適化ループ内で微分可能な最小二乗法を用いて変形係数 C と τ を学習する。
• SHOT デスクリプタにスペクトル的に滑らかな、切り捨てられたスペクトル畳み込みフィルターを適用して局所特徴を改良する。
• 対応した形状間の整合性の厳密さを測る無監督損失でエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前に計算された初期化なしで、無監督・OT ベース・微分可能なマッチングパイプラインは高品質な形状対応を生み出せるだろうか？
• RQ2 学習された多尺度初期化とスペクトル特徴は、非等尺変形や離散化差に対する頑健性を向上させるか？
• RQ3 標準ベンチマーク（FAUST、SCAPE）における最先端の公理的手法および学習ベース手法と比較して、Deep Shells フレームワークはどう機能するか？
• RQ4 学習済みフィルターは、訓練時に見られなかったデータセット間で一般化できるか（データセット間一般化）？

主な発見

• 提案手法は FAUST および SCAPE で最先端を上回り、監視あり手法との比較も含む。
• 前処理や後処理を高コストにせず、コンフォーマルマップの品質で競争力がある、またはそれを上回る。
• 一般化の結果は、異なる離散化や形状を持つ未知データセットへ学習済みフィルターが転移することを示す。
• OT ベースの損失を用いた無監督訓練は、限られた訓練データでも堅牢な対応を生む。
• 手法はデータセット間の一般化が強く、異なる形状コレクションに学習済みフィルターを適用しても性能を維持する。