[논문 리뷰] Learning shape correspondence with anisotropic convolutional neural networks

Davide Boscaini, Jonathan Masci외 2명|arXiv (Cornell University)|2016. 05. 20.

Image Retrieval and Classification Techniques인용 수 176

한 줄 요약

The paper introduces Anisotropic Convolutional Neural Networks (ACNN) to learn dense intrinsic shape correspondences on non-Euclidean domains using anisotropic heat kernels as spatial patches, achieving state-of-the-art results on challenging benchmarks.

ABSTRACT

Establishing correspondence between shapes is a fundamental problem in geometry processing, arising in a wide variety of applications. The problem is especially difficult in the setting of non-isometric deformations, as well as in the presence of topological noise and missing parts, mainly due to the limited capability to model such deformations axiomatically. Several recent works showed that invariance to complex shape transformations can be learned from examples. In this paper, we introduce an intrinsic convolutional neural network architecture based on anisotropic diffusion kernels, which we term Anisotropic Convolutional Neural Network (ACNN). In our construction, we generalize convolutions to non-Euclidean domains by constructing a set of oriented anisotropic diffusion kernels, creating in this way a local intrinsic polar representation of the data (`patch'), which is then correlated with a filter. Several cascades of such filters, linear, and non-linear operators are stacked to form a deep neural network whose parameters are learned by minimizing a task-specific cost. We use ACNNs to effectively learn intrinsic dense correspondences between deformable shapes in very challenging settings, achieving state-of-the-art results on some of the most difficult recent correspondence benchmarks.

연구 동기 및 목표

• 비강체 변형 및 데이터 불완전성 하에서 밀집 고유 모양 대응을 동기 부여하고 해결한다.
• 메시와 포인트 클라우드에 적용 가능한 고유하고 변형 불변인 CNN 프레임워크를 개발한다.
• 방향성 확산을 활용하여 방향성의 국소 패치를 형성하고, 대응 학습의 견고함을 가능하게 한다.

제안 방법

• 방향 ( θ) 및 스케일 t를 갖는 비대칭 열 커널 기반 패치 연산자 D(x)f를 h_{\\,αθ t}(x,ξ)를 사용하여 정의한다.
• 패치를 사용하여 고유 컨볼루션을 구성한다: (f * a)(x) = ∫ a(θ,t) (D(x)f)(θ,t) dtdθ.
• ACNN을 Fully Connected, Intrinsic Convolution, Dropout, Batch Normalization 및 Softmax로 구성하여 밀집 대응을 위한 네트워크를 구성한다.
• 모양 간의 소프트 대응 f_Θ(x,y)를 생성하기 위해 다항 로지스틱 손실을 최소화하여 학습한다.
• 확실한 지점을 사용한 기능적 맵 방식으로 대응을 정제하고 Φ_I C = Ψ_I 를 풀어 점별 매칭을 재도출한다.

실험 결과

연구 질문

• RQ1 비유클리드 표면에서 방향 인지적 컨볼루션을 어떻게 정의하여 밀집 대응을 학습할 수 있는가?
• RQ2 이방 확산 기반 패치가 비동일 변형 및 위상적 잡음에 대한 견고함을 이전의 고유 CNN 대비 개선할 수 있는가?
• RQ3 ACNN 프레임워크가 메쉬와 포인트 클라우드라는 형태 표현 전반에 일반화되며 벤치마크에서 기존의 고유 방법을 능가하는가?
• RQ4 ACNN으로 학습된 소프트 대응을 기능적 맵을 사용하여 정확한 밀집 매핑으로 정제할 수 있는가?

주요 결과

• ACNN은 패치 구성에 방향성 열 커널을 사용하여 비유클리드 영역에서 고유하고 변형에 불변인 학습을 가능하게 한다.
• 이 프레임워크는 주입 반경(injectivity radius)과 메시 특정 차트화 등 이전의 고유 모델의 단점을 피하면서 이점들을 결합한다.
• ACNN은 GCNN 및 ADD 변형에 비해 도전적인 밀집 대응 벤치마크에서 최첨단 결과를 달성한다.
• 이 방법은 기능적 맵 기반 정제를 통해 더 촘촘하고 정확한 점별 매핑으로 정제될 수 있는 신뢰할 수 있는 소프트 대응을 산출한다.