[논문 리뷰] Deep Spectral Descriptors: Learning the point-wise correspondence metric via Siamese deep neural networks.

Zhiyu Sun, Yusen He외 3명|arXiv (Cornell University)|2017. 10. 17.

3D Shape Modeling and Analysis참고 문헌 2인용 수 10

한 줄 요약

이 논문은 비등장성 기하형상 간의 기하학적 이질성에 직접적인 거리 측정을 가능하게 하는 임bedding 공간을 학습하는 Siamese 딥 신경망인 Deep Spectral Descriptors를 제안한다. 이 방법은 이 학습된 거리 측도에서 스펙트럼 기반 기술자를 재학습함으로써, 비등장성 형상 매칭 작업에서 기존의 스펙트럼 기술자와 최신 기준 기준을 초월하여 등록 정확도를 크게 향상시킨다.

ABSTRACT

A robust and informative local shape descriptor plays an important role in mesh registration. In this regard, spectral descriptors that are based on the spectrum of the Laplace-Beltrami operator have gained a spotlight among the researchers for the last decade due to their desirable properties, such as isometry invariance. Despite such, however, spectral descriptors often fail to give a correct similarity measure for non-isometric cases where the metric distortion between the models is large. Hence, they are in general not suitable for the registration problems, except for the special cases when the models are near-isometry. In this paper, we investigate a way to develop shape descriptors for non-isometric registration tasks by embedding the spectral shape descriptors into a different metric space where the Euclidean distance between the elements directly indicates the geometric dissimilarity. We design and train a Siamese deep neural network to find such an embedding, where the embedded descriptors are promoted to rearrange based on the geometric similarity. We found our approach can significantly enhance the performance of the conventional spectral descriptors for the non-isometric registration tasks, and outperforms recent state-of-the-art method reported in literature.

연구 동기 및 목표

• 등장성 위반이 발생할 경우 큰 거리 왜곡이 발생해 잘못된 유사도 측도를 초래하는 스펙트럼 기술자의 한계를 해결한다.
• 등장성 위반이 발생할 경우 표준 스펙트럼 기술자가 기하학적 이질성을 정확히 포착하지 못하는 본질적 한계를 극복한다.
• 임bedded 기술자 간 유클리드 거리가 직접적으로 기하학적 유사도를 반영하는 학습된 거리 측도 공간을 개발한다.
• 기하학적 유사도 기반으로 임bedded 기술자를 재배치하는 것을 강제하기 위해 Siamese 신경망을 훈련한다.
• 기존의 스펙트럼 방법과 최근의 최신 기준 접근 방식을 초월하여 비등장성 형상 쌍에서의 매칭 성능을 향상시킨다.

제안 방법

• Siamese 딥 신경망 아키텍처를 사용하여 기존의 스펙트럼 기술자를 새로운 거리 측도 공간에 임bedding한다.
• 유사한 형상 조각 간의 거리를 최소화하고 비유사한 것 간의 거리를 최대화하기 위해 트리플릿 유사한 손실 함수로 Siamese 네트워크를 훈련한다.
• 기하학적 유사도 기반으로 스펙트럼 기술자를 재조정하는 비선형 변환을 학습하기 위해 네트워크를 활용한다.
• 학습된 임bedding 공간을 활용하여 기술자 간 유클리드 거리가 직접적으로 기하학적 이질성을 나타내도록 한다.
• 대응되는 및 비대응되는 형상 조각 쌍을 사용하여 특징 학습의 분류 능력을 강제로 확보한다.
• 최종적으로 임bedded 기술자가 등장성 변형에 대해 불변성을 유지하면서도 비등장성 왜곡에 민감하게 반응하도록 보장한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 비등장성 형상에서 기술자 간 유클리드 거리가 진정한 기하학적 이질성을 반영하는 거리 측도 공간을 효과적으로 학습할 수 있는가?
• RQ2 제안된 Siamese 네트워크 기반 임bedding은 비등장성 매칭 작업에서 표준 스펙트럼 기술자보다 어떻게 향상되는가?
• RQ3 학습된 기술자 공간은 도전적인 비등장성 형상 매칭 벤치마크에서 기존의 최신 기준 방법을 어느 정도 초월하는가?
• RQ4 이 방법은 등장성 불변성을 유지하면서도 비등장성 왜곡에 민감하게 반응하는가?
• RQ5 네트워크는 큰 거리 왜곡을 겪는 새로운 형상 쌍에 대해 일반화 가능한가?

주요 결과

• 제안된 Deep Spectral Descriptors는 기존의 스펙트럼 기술자에 비해 비등장성 형상 쌍에서 매칭 정확도를 크게 향상시킨다.
• 논문에서 보고된 최근의 최신 기준 방법보다도 이 논문의 방법은 비등장성 매칭 벤치마크에서 성능이 뛰어나다.
• 학습된 임bedding 공간은 스펙트럼 기술자를 유클리드 거리가 직접적으로 기하학적 이질성을 나타내는 거리 측도로 변환하는 데 성공했다.
• Siamese 네트워크는 큰 거리 왜곡 조건에서도 기하학적 유사도 기반으로 기술자를 효과적으로 재배열하는 것을 학습한다.
• 이 방법은 등장성 불변성을 유지하면서도 비등장성 왜곡에 민감하게 반응하여 강력한 대응 학습이 가능하다.
• 표준 스펙트럼 기술자가 높은 왜곡으로 인해 실패하는 경우 성능 향상이 특히 두드러진다.