[논문 리뷰] Correspondence Learning via Linearly-invariant Embedding

Riccardo Marin, Marie‐Julie Rakotosaona외 2명|arXiv (Cornell University)|2020. 10. 25.

3D Shape Modeling and Analysis참고 문헌 57인용 수 4

한 줄 요약

이 논문은 고정된 라플라스-벨트라미 고유함수를 학습 가능한 선형 불변 임bedding로 대체하여 밀도 높은 3D 포인트 클라우드 대응 관계 학습을 위한 완전히 미분 가능한 엔드 투 엔드 학습 가능한 프레임워크를 제안한다. 이 방법은 데이터 기반 기저와 최적의 기술자 함수를 함께 최적화하여, 선형 자유도를 추가로 확보함으로써 더 높은 안정성 확보를 통해 비정형 대응 작업에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

In this paper, we propose a fully differentiable pipeline for estimating accurate dense correspondences between 3D point clouds. The proposed pipeline is an extension and a generalization of the functional maps framework. However, instead of using the Laplace-Beltrami eigenfunctions as done in virtually all previous works in this domain, we demonstrate that learning the basis from data can both improve robustness and lead to better accuracy in challenging settings. We interpret the basis as a learned embedding into a higher dimensional space. Following the functional map paradigm the optimal transformation in this embedding space must be linear and we propose a separate architecture aimed at estimating the transformation by learning optimal descriptor functions. This leads to the first end-to-end trainable functional map-based correspondence approach in which both the basis and the descriptors are learned from data. Interestingly, we also observe that learning a \emph{canonical} embedding leads to worse results, suggesting that leaving an extra linear degree of freedom to the embedding network gives it more robustness, thereby also shedding light onto the success of previous methods. Finally, we demonstrate that our approach achieves state-of-the-art results in challenging non-rigid 3D point cloud correspondence applications.

연구 동기 및 목표

• 기능 맵 기반 3D 대응 관계 학습에서 고정된 스펙트럼 기저의 한계를 해결하기 위해.
• 도전적인 변형 조건 하에서 비정형 3D 형상 대응 관계의 안정성과 정확도를 향상시키기 위해.
• 임베딩 기저와 기술자 함수가 모두 데이터로부터 학습되는 엔드 투 엔드 학습 가능한 파이프라인을 개발하기 위해.
• 학습된 표준형 임베딩이 유리한지, 아니면 선형 자유도를 유지함으로써 성능 향상이 이루어지는지 조사하기 위해.

제안 방법

• 기존의 라플라스-벨트라미 고유함수를 대체하여, 형상 함수를 표현하기 위한 기저를 학습하는 미분 가능한 데이터 기반 임베딩 네트워크를 도입한다.
• 학습된 임베딩은 최적의 기능 맵이 선형이 되도록 제약을 두는 고차원 공간으로 형태를 매핑한다.
• 포인트 클라우드의 대응 관계 추정을 정확하게 수행할 수 있도록, 별도의 신경망을 통해 최적의 기술자 함수를 학습한다.
• 전체 파이프라인이 엔드 투 엔드로 미분 가능하여, 역전파를 통한 임베딩과 기술자 네트워크의 공동 최적화가 가능하다.
• 기능 맵의 개념은 유지하나, 고정된 스펙트럼 분해에 의존하지 않고 기저를 학습함으로써 이를 일반화한다.
• 임베딩에 추가적인 선형 자유도를 명시적으로 유지함으로써 안정성이 향상됨을 입증한다.

실험 결과

연구 질문

• RQ1 고정된 라플라스-벨트라미 고유함수 대신 형태에 특화된 임베딩을 학습하면 비정형 3D 형상 매칭에서 대응 관계 정확도가 향상되는가?
• RQ2 기저와 기술자 함수가 모두 데이터로부터 학습되는 엔드 투 엔드 학습 가능한 기능 맵 프레임워크를 구축할 수 있는가?
• RQ3 표준형 임베딩(즉, 고정된 기저)은 기저에 추가 선형 자유도를 가진 경우보다 안정성이 떨어지는가?
• RQ4 어떤 도전적인 비정형 3D 대응 벤치마크에서 제안된 방법은 최신 기술 수준의 접근 방식과 비교해 어떻게 성능을 내는가?
• RQ5 선형 불변성 특성이 학습된 대응 관계의 안정성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 비정형 3D 포인트 클라우드 대응 관계 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전의 기능 맵 기반 접근 방식을 능가한다.
• 표준형이 아닌 선형 불변 임베딩을 학습하면 표준형 임베딩을 학습하는 것보다 더 높은 안정성과 정확도를 확보한다.
• 엔드 투 엔드로 미분 가능한 학습 방식은 임베딩 기저와 기술자 함수의 공동 최적화를 가능하게 하여 대응 관계의 품질을 향상시킨다.
• 큰 변형을 겪는 어려운 비정형 형태에 대해서도 뛰어난 일반화 성능을 보이며, 고정된 스펙트럼 기저는 실패하는 경우가 있다.
• 제거 실험을 통해 임베딩 공간에서 추가적인 선형 자유도를 유지하는 것이 성능 향상에 상당한 기여를 한다는 것이 확인되었다.
• 데이터 기반 기저 학습이 스펙트럼 방법의 한계를 초월하여 기능 맵 프레임워크를 향상시킨다는 것이 검증되었다.