[논문 리뷰] Deep Shells: Unsupervised Shape Correspondence with Optimal Transport

Marvin Eisenberger, Aysim Toker외 2명|arXiv (Cornell University)|2020. 10. 28.

3D Shape Modeling and Analysis참고 문헌 42인용 수 31

한 줄 요약

이 논문은 엔트로피 정규화된 최적 운송과 다중 스케일의 미분 가능 파이프라인, 그리고 스펙트럴 CNN 특징을 통합하여 좋은 초기화를 학습하고 대응 관계를 엔드투엔드에서 정교화하는 비지도 3D 형상 대응 방법인 Deep Shells를 소개한다. 후처리 없이 FAUST/SCAPE에서 최첨단 성능을 달성하고, 보지 못한 데이터로 일반화한다.

ABSTRACT

We propose a novel unsupervised learning approach to 3D shape correspondence that builds a multiscale matching pipeline into a deep neural network. This approach is based on smooth shells, the current state-of-the-art axiomatic correspondence method, which requires an a priori stochastic search over the space of initial poses. Our goal is to replace this costly preprocessing step by directly learning good initializations from the input surfaces. To that end, we systematically derive a fully differentiable, hierarchical matching pipeline from entropy regularized optimal transport. This allows us to combine it with a local feature extractor based on smooth, truncated spectral convolution filters. Finally, we show that the proposed unsupervised method significantly improves over the state-of-the-art on multiple datasets, even in comparison to the most recent supervised methods. Moreover, we demonstrate compelling generalization results by applying our learned filters to examples that significantly deviate from the training set.

연구 동기 및 목표

• 입력 표면으로부터 학습된 초기화로 매끄러운 쉘에서의 비용이 큰 사전 포즈 초기화를 대체한다.
• 엔트로피-정규화된 최적 운송에 기반한 미분 가능하고 계층적 매칭 파이프라인을 개발한다.
• 대응 관계를 정제하기 위해 매끄러운 스펙트럴 컨볼루션 필터를 기반으로 한 로컬 특징 추출기를 도입한다.
• 감독 없이도 외재적 및 고유 기하정보의 균형을 맞추는 엔드투엔드 학습을 가능하게 한다.

제안 방법

• 내재적 및 외재적 특징을 사용하여 입력 형상을 곱 공간에 임베딩한다.
• 연분화 가능성을 구현하기 위해 퍼지 대응 π를 가진 엔트로피-정규화 OT로 매칭을 형식화한다.
• 신경망 프레임워크 내에서 π를 효율적으로 최적화하기 위해 Sinkhorn 반복을 사용한다.
• 교대 최적화 루프 내에서 미분 가능 최솟제곱을 통해 변형 계수 C와 τ를 학습한다.
• SHOT 디스크립터에 스펙트럴로 매끄럽고 잘라낸 스펙트럴 컨볼루션 필터를 적용하여 정제된 로컬 특징을 생성한다.
• 매칭된 형상 간 정렬 타이트니스를 측정하는 비지도 손실로 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 사전 계산된 초기화 없이도 비지도 OT 기반의 미분 가능 매칭 파이프라인이 고품질의 형태 대응을 얻을 수 있는가?
• RQ2 학습된 다중 스케일 초기화 및 스펙트럴 특징이 비등각 변형 및 이산화 차이에 대한 강건성을 향상시키는가?
• RQ3 표준 벤치마크(FAUST, SCAPE)에서 Deep Shells 프레임워크가 Axiomatic 및 학습 기반 방법과 비교하여 어떤 성능을 보이는가?
• RQ4 학습되지 않은 데이터 세트 간 일반화(인터-데이터셋 일반화)가 학습된 필터를 서로 다른 형태 컬렉션에 적용해도 일반화되는가?

주요 결과

• 제안된 방법은 FAUST 및 SCAPE에서 최첨단 성능을 달성하며, 감독 학습 방법과의 비교를 포함한다.
• 프레임워크는 비싸운 전처리나 후처리 없이도 경쟁력 있거나 우수한 컨포멀 맵 품질을 달성한다.
• 일반화 결과는 학습된 필터가 다양한 이산화 및 기하학적 특성을 가진 보지 못한 데이터 세트로 전달될 수 있음을 보여준다.
• OT 기반 손실로 비지도 학습은 제한된 학습 데이터에서도 견고한 대응 관계를 산출한다.
• 인터-데이터셋 일반화가 강하게 나타나 학습된 필터를 서로 다른 형태 컬렉션에 적용해도 성능이 유지된다.