[論文レビュー] Learning shape correspondence with anisotropic convolutional neural networks

Davide Boscaini, Jonathan Masci+2 more|arXiv (Cornell University)|May 20, 2016

Image Retrieval and Classification Techniques被引用数 169

ひとこと要約

ACNNは、異方性熱カーネルに基づくパッチを多様体上に適用することにより、密な固有形状対応を学習し、難易度の高い非剛体形状ベンチマークで最先端の性能を達成します。

ABSTRACT

Establishing correspondence between shapes is a fundamental problem in geometry processing, arising in a wide variety of applications. The problem is especially difficult in the setting of non-isometric deformations, as well as in the presence of topological noise and missing parts, mainly due to the limited capability to model such deformations axiomatically. Several recent works showed that invariance to complex shape transformations can be learned from examples. In this paper, we introduce an intrinsic convolutional neural network architecture based on anisotropic diffusion kernels, which we term Anisotropic Convolutional Neural Network (ACNN). In our construction, we generalize convolutions to non-Euclidean domains by constructing a set of oriented anisotropic diffusion kernels, creating in this way a local intrinsic polar representation of the data (`patch'), which is then correlated with a filter. Several cascades of such filters, linear, and non-linear operators are stacked to form a deep neural network whose parameters are learned by minimizing a task-specific cost. We use ACNNs to effectively learn intrinsic dense correspondences between deformable shapes in very challenging settings, achieving state-of-the-art results on some of the most difficult recent correspondence benchmarks.

研究の動機と目的

• 非等尺変形、トポロジー的ノイズ、欠損部分の下で頑健な密な固有形状対応を動機づける。
• 異方性拡散カーネルを用いて3D形状上に局所パッチを形成する intrinsic CNN フレームワーク（ACNN）を導入する。
• 変形可能な形状間の密な対応を予測するために、タスク固有のフィルターをエンドツーエンドで学習する。

提案手法

• 各点の周囲に局所的な極座標表現を作成するため、異方性熱カーネルを用いてパッチ演算子を定義する。
• 学習可能なフィルターを用いたパッチの重加算として内部畳み込みをCNNフレームワークで構築する。
• 多項回帰損失で訓練し、点ごとのソフトな対応を生成する。
• 高信頼な対応から関数マップを計算し、点ごとの対応を再推定して対応を洗練させる。
• 実用計算のためにメッシュ上で異方性ラプラシアンを離散化する。
• 完全結合層、内在畳み込み、ドロップアウト、バッチ正規化などの層をCNNアーキテクチャに組み込む。

実験結果

リサーチクエスチョン

• RQ1 異方性拡散ベースのパッチは、非剛性変形とノイズの下で頑健な密な固有対応をサポートできるか。
• RQ2 非ユークリッド領域上で内在畳み込みをどのように定義・学習して、メッシュ、点群などの異なる形状表現を越えて一般化できるか。
• RQ3 ACNNは難易度の高い対応ベンチマークにおいて、従来の固有学習法（GCNN、ADD、LSCNN）を上回るか。
• RQ4 ネットワークは信頼性の高いソフト対応を生み出し、正確な点対点マッピングへと洗練できるか。
• RQ5 実用的な3D形状へACNNをスケールさせるために、どの離散化・実装選択が必要か。

主な発見

• ACNNは異方性熱カーネルに基づく固有・方向性パッチ演算子を提供し、多様体上での局所特徴抽出を効果的に可能にする。
• このアーキテクチャは、要約欄に従い難易度の高い形状対応ベンチマークで最先端の結果を提供する。
• ACNNは空間パッチと学習可能なフィルターを組み合わせ、表現間の適用性とパッチの解釈性の面で従来の内在的CNNより有利である。
• 本手法はソフトな点ごとの対応出力をサポートし、関数マップアプローチで洗練可能である。
• 主曲率方向を用いた三角メッシュ上の離散化により、単射半径に依存せず実用的な計算が可能である。