[論文レビュー] Self-supervised Learning of Dense Shape Correspondence

Oshri Halimi, Or Litany+3 more|arXiv (Cornell University)|Dec 6, 2018

3D Shape Modeling and Analysis参考文献 5被引用数 12

ひとこと要約

本稿では、測地的距離歪みの最小化に基づく幾何的基準を活用することで、アノテートされた正例データを一切必要としない、初めての完全な教師なし深層学習手法を提案する。正例データが不要な状態で、関数マップフレームワークを用いて高精度かつ一般化可能な対応関係を学習する点特徴量を学習する。限定的な学習データで動作するが、多様なベンチマークにおいて、教師ありおよび公理的アプローチを上回る性能を発揮する。

ABSTRACT

We introduce the first completely unsupervised correspondence learning approach for deformable 3D shapes. Key to our model is the understanding that natural deformations (such as changes in pose) approximately preserve the metric structure of the surface, yielding a natural criterion to drive the learning process toward distortion-minimizing predictions. On this basis, we overcome the need for annotated data and replace it by a purely geometric criterion. The resulting learning model is class-agnostic, and is able to leverage any type of deformable geometric data for the training phase. In contrast to existing supervised approaches which specialize on the class seen at training time, we demonstrate stronger generalization as well as applicability to a variety of challenging settings. We showcase our method on a wide selection of correspondence benchmarks, where we outperform other methods in terms of accuracy, generalization, and efficiency.

研究の動機と目的

• 深層学習における高価で希少なアノテート済み3次元形状対応データへの依存を排除すること。
• 形状クラスに依存しない汎用的かつクラスに依存しない方法を構築し、異なる形状クラス間で一般化可能であるようにすること。
• 教師なし条件下で極めて限られたデータ（たった1組の形状ペアでさえも）で効果的な学習を可能にすること。
• モデルベースの幾何的手法の長所とデータ駆動型学習の長所を統合し、正例ラベルを一切必要としないこと。

提案手法

• 本手法は、対応する点間の測地的距離の歪みを最小化する自己教師型損失を用いる。
• 深層ニューラルネットワークを訓練し、点ごとの特徴量を予測させ、それらを関数マップフレームワークに組み込むことで、測地的距離の歪みを低減する。
• 自然な変形の幾何的整合性のみを監視信号として用い、エンドツーエンドでネットワークを最適化する。
• 本フレームワークは任意の可変形状幾何データと互換性があり、クラス固有の事前学習を必要としない。
• 推論は高速（1秒未満）であり、一対一対応性を強制するためにPMFを用いて結果を精緻化する。
• 本手法はFMNetにインspiredされているが、教師ありの監視信号の代わりに、完全に幾何的で教師なしの基準を採用している。

実験結果

リサーチクエスチョン

• RQ1 アノテート済み正例対応データが一切ない状態でも、3次元形状の密な対応関係を学習可能か？
• RQ2 微調整やクラス固有のデータなしで、深層学習モデルが異なる形状クラス間で一般化可能か？
• RQ3 1組の形状ペアのみで、高精度かつ一般化可能な対応関係ネットワークを学習可能か？
• RQ4 測地的距離保存に基づく完全に幾何的な損失が、教師ありおよび公理的アプローチを上回る性能を発揮するか？

主な発見

• 提案手法は、100回未満のイテレーションで学習したとしても、FMNetなどの最先端の教師あり手法を一般化タスクで上回る。
• 正例ラベルなしで1つの形状ペアでの学習をわずか15分以内に完了させ、高い精度で対応関係を解消できる。
• TOSCAベンチマークでは、人間の形状で学習したモデルが非人間の形状に対しても良好に一般化され、強力なゼロショット転送性能を示した。
• Dynamic FAUSTデータセットでは、合成FAUSTデータで学習したモデルが、テクスチャ転送タスクで優れた結果を達成し、現実世界の動的ポーズに対しても頑健な一般化性能を示した。
• 推論時間は1秒未満であり、リアルタイム応用に適している。
• 芸術的アートスタイルのDeadpoolモデルでたった3つのポーズのみで学習した教師なしネットワークが、8時間にわたって80体の人間形状で学習した教師ありネットワークよりも高い精度を達成した。