[논문 리뷰] Self-supervised Learning of Dense Shape Correspondence

Oshri Halimi, Or Litany외 3명|arXiv (Cornell University)|2018. 12. 06.

3D Shape Modeling and Analysis참고 문헌 5인용 수 12

한 줄 요약

이 논문은 지오데식 거리 왜곡 최소화에 기반한 기하 기준을 활용하여 밀도 높은 3D 형상 대응을 위한 처음으로 완전히 비지도 학습 딥 러닝 방법을 제안한다. 어떤 애너테이션된 진짜 데이터가 필요 없이도, 기능 맵 프레임워크를 통해 정확하고 일반화 가능한 대응을 가능하게 하는 점별 기술자(Descriptor)를 학습한다. 최소한의 훈련 데이터로 다양한 벤치마크에서 지도 학습 및 축약 기반 방법을 능가한다.

ABSTRACT

We introduce the first completely unsupervised correspondence learning approach for deformable 3D shapes. Key to our model is the understanding that natural deformations (such as changes in pose) approximately preserve the metric structure of the surface, yielding a natural criterion to drive the learning process toward distortion-minimizing predictions. On this basis, we overcome the need for annotated data and replace it by a purely geometric criterion. The resulting learning model is class-agnostic, and is able to leverage any type of deformable geometric data for the training phase. In contrast to existing supervised approaches which specialize on the class seen at training time, we demonstrate stronger generalization as well as applicability to a variety of challenging settings. We showcase our method on a wide selection of correspondence benchmarks, where we outperform other methods in terms of accuracy, generalization, and efficiency.

연구 동기 및 목표

• 딥 러닝에서 비용이 많이 들고 희소한 애너테이션된 3D 형상 대응 데이터에 의존하는 것을 제거하기 위해.
• 다양한 형상 클래스에 일반화 가능한 일반 목적의, 클래스에 관계없는 밀도 높은 형상 대응 방법을 개발하기 위해.
• 초기 훈련 데이터가 매우 제한된 경우, 즉 단일 형상 쌍만으로도 효과적인 훈련을 가능하게 하기 위해.
• 모델 기반 기하 방법의 장점과 데이터 기반 학습의 장점을 결합하면서도 진짜 레이블이 필요 없도록 하기 위해.

제안 방법

• 이 방법은 대응하는 점들 간의 쌍별 지오데식 거리 왜곡을 최소화하는 데 기반한 자체 지도 손실을 사용한다.
• 딥 네ural 네트워크를 훈련시켜, 기능 맵 프레임워크에서 사용될 때 낮은 지오데식 왜곡을 유도하는 점별 기술자를 예측하도록 한다.
• 네트워크는 자연스러운 변형의 기하학적 일관성만을 지도 신호로 사용하여 엔드 투 엔드로 최적화된다.
• 이 프레임워크는 어떤 탄성 기하 데이터와도 호환되며, 클래스별 사전 훈련이 필요하지 않다.
• 추론은 빠르며(1초 이내), 이중성 조건을 강제하기 위해 PMF를 사용해 결과를 정밀 조정한다.
• 이 방법은 FMNet에 영감을 받았지만, 지도 학습 지도 신호를 순수하게 기하학적인 비지도 기준으로 대체한다.

실험 결과

연구 질문

• RQ1 어떤 애너테이션된 진짜 대응 데이터 없이도 밀도 높은 3D 형상 대응을 학습할 수 있는가?
• RQ2 세부 조정 없이도, 클래스별 데이터 없이도 딥 러닝 모델이 다양한 형상 클래스 간에 일반화할 수 있는가?
• RQ3 단일 형상 쌍만으로도 정확하고 일반화 가능한 대응 네트워크를 훈련시킬 수 있는가?
• RQ4 지오데식 거리 보존에 기반한 순수 기하학적 손실이 지도 학습 및 축약 기반 방법보다 우수한 성능을 내는가?

주요 결과

• 제안된 비지도 방법은 100회 이터레이션 미만으로 훈련된 최첨단 지도 학습 방법인 FMNet보다 일반화 작업에서 뛰어난 성능을 보였다.
• 진짜 레이블 없이 단일 형상 쌍으로도 훈련을 약 15분 이내에 완료하여 정확한 대응을 해결했다.
• TOSCA 벤치마크에서 인간 형상으로 훈련된 모델은 비인간 형상으로의 일반화가 잘 되었으며, 강력한 제로샷 전이 능력을 보였다.
• Dynamic FAUST 데이터셋에서 합성 FAUST 데이터로 훈련된 모델는 텍스처 전이 작업에서 뛰어난 성능을 보였으며, 실제 동적 자세에 대한 강력한 일반화 능력을 입증했다.
• 이 방법은 추론 시간이 1초 이내로 매우 짧아 실시간 응용에 적합하다.
• 아티스틱한 Deadpool 모델의 3개 자세만으로도, 8시간 동안 80개의 인간 형상으로 훈련된 지도 학습 네트워크보다 더 정확한 결과를 도출했다.