[論文レビュー] Learning shape correspondence with anisotropic convolutional neural networks

Davide Boscaini, Jonathan Masci+2 more|arXiv (Cornell University)|May 20, 2016

Image Retrieval and Classification Techniques被引用数 176

ひとこと要約

本論文は Anisotropic Convolutional Neural Networks (ACNN) を導入し、異方性熱核を空間パッチとして用いて非ユークリッド領域上で密な固有形状対応を学習し、難易度の高いベンチマークで最先端の結果を達成します。

ABSTRACT

Establishing correspondence between shapes is a fundamental problem in geometry processing, arising in a wide variety of applications. The problem is especially difficult in the setting of non-isometric deformations, as well as in the presence of topological noise and missing parts, mainly due to the limited capability to model such deformations axiomatically. Several recent works showed that invariance to complex shape transformations can be learned from examples. In this paper, we introduce an intrinsic convolutional neural network architecture based on anisotropic diffusion kernels, which we term Anisotropic Convolutional Neural Network (ACNN). In our construction, we generalize convolutions to non-Euclidean domains by constructing a set of oriented anisotropic diffusion kernels, creating in this way a local intrinsic polar representation of the data (`patch'), which is then correlated with a filter. Several cascades of such filters, linear, and non-linear operators are stacked to form a deep neural network whose parameters are learned by minimizing a task-specific cost. We use ACNNs to effectively learn intrinsic dense correspondences between deformable shapes in very challenging settings, achieving state-of-the-art results on some of the most difficult recent correspondence benchmarks.

研究の動機と目的

• 非剛性変形およびデータの欠陥に伴う密な intrinsic 形状対応を動機づけ、解決する。
• メッシュと点群に適用可能な intrinsic、変形不変性を持つ CNN フレームワークを開発する。
• 方向性局所パッチを形成するために anisotropic diffusion を活用し、対応付けのロバストな学習を可能にする。

提案手法

• Define anisotropic heat kernel based patch operator D(x)f with orientation (\u0013 θ) and scale t using h_{\\,αθ t}(x,ξ).
• Construct intrinsic convolution using patches: (f * a)(x) = ∫ a(θ,t) (D(x)f)(θ,t) dtdθ.
• Assemble ACNN with layers: Fully Connected, Intrinsic Convolution, Dropout, Batch Normalization, and Softmax for dense correspondence.
• Train by minimizing multinomial regression loss to produce a soft correspondence f_Θ(x,y) between shapes.
• Refine correspondences via a functional map approach using confident points to solve Φ_I C = Ψ_I and re-derive point-wise matches.

実験結果

リサーチクエスチョン

• RQ1 Intrinsic, direction-aware convolutions を非ユークリッド表面上で定義して密な対応を学習できるのか？
• RQ2 anisotropic diffusion ベースのパッチは従来の intrinsic CNN より非等尺変形やトポロジーノイズに対する頑健性を向上させることができるのか？
• RQ3 ACNN フレームワークは形状表現（メッシュ、点群）全体に一般化し、ベンチマーク上で既存の intrinsic 手法を上回るか？
• RQ4 ACNN で学習されたソフト対応を、ファンクショナルマップを用いて正確な密なマッピングに精練できるか？

主な発見

• ACNN は anisotropic heat kernels を用いたパッチ構築により、非ユークリッド領域上で intrinsic、変形不変の学習を可能にする。
• このフレームワークは、射影半径への依存やメッシュ固有のチャーティングを含む従来の intrinsic モデルの欠点を避けつつ、前の利点を組み合わせる。
• ACNN は GCNN および ADD 変種と比較して、難易度の高い dense correspondence ベンチマークで最先端の結果を達成する。
• この方法は信頼性の高い soft correspondences を生み出し、ファンクショナルマップに基づく精練によってより密で正確な点ごとのマッピングへ改良できる。