[논문 리뷰] Weakly Supervised Deep Functional Map for Shape Matching

Abhishek Sharma, Maks Ovsjanikov|arXiv (Cornell University)|2020. 09. 28.

Machine Learning in Materials Science인용 수 6

한 줄 요약

이 논문은 오직 약간의 강성으로 정렬된 데이터와 최소한의 감독만을 사용하여 비강성 형태 매칭에서 최신 기술 성능을 달성하는 약한 감독을 받는 딥 기능 매핑 프레임워크를 제안한다. 라플라스 고유함수의 소량을 활용하고 기능 매핑에 기본적인 구조적 제약 조건을 적용함으로써, 이 방법은 완전히 감독된 접근 방식을 능가하며, 기능 매핑을 사용하는 부분 형태 매칭에 대한 첫 번째 학습 기반 솔루션을 가능하게 한다.

ABSTRACT

A variety of deep functional maps have been proposed recently, from fully supervised to totally unsupervised, with a range of loss functions as well as different regularization terms. However, it is still not clear what are minimum ingredients of a deep functional map pipeline and whether such ingredients unify or generalize all recent work on deep functional maps. We show empirically minimum components for obtaining state of the art results with different loss functions, supervised as well as unsupervised. Furthermore, we propose a novel framework designed for both full-to-full as well as partial to full shape matching that achieves state of the art results on several benchmark datasets outperforming even the fully supervised methods by a significant margin. Our code is publicly available at https://github.com/Not-IITian/Weakly-supervised-Functional-map

연구 동기 및 목표

• 딥 기능 매핑 파ip라인에서 최소한의 필수 구성 요소에 대한 이해 부족을 해결하기 위해.
• 비용이 많이 드는 참조 대응이 필요한 완전히 감독된 방법의 한계를 극복하기 위해.
• 약한 감독, 특히 약간의 강성으로 정렬된 조건 하에서 효과적인 학습 기반 형태 매칭을 가능하게 하기 위해.
• 기능 매핑을 사용하는 부분 형태 매칭에 대한 첫 번째 학습 기반 방법을 개발하기 위해.
• 최근의 딥 기능 매핑 접근 방식을 통합하고 일반화하기 위해 핵심적이고 재사용 가능한 구성 요소를 식별하기 위해.

제안 방법

• 원시 메쉬에서 직접 3D 형태 기술자를 약한 감독 신호를 기반으로 학습하여, 약간의 강성으로 정렬된 신호를 활용한다.
• 기하학적 일관성을 강화하고 복잡성을 줄이기 위해 학습된 특징을 낮은 차원의 라플라스 고유기저(30개 성분)에 투영한다.
• 기능 매핑의 구조적 특성(예: 직교성, 저랭크 구조)을 강제하는 정규화 항으로 구성된 비감독 손실 함수를 적용한다.
• 원천 및 대상 라플라스 고유기저 간의 최적 정렬을 학습하는 데이터 기반 방법을 도입하여, 강건한 부분 형태 매칭을 가능하게 한다.
• 참조 점 대 점 대응이나 복잡한 정규화 기법이 필요 없이, 전체적으로 모델을 훈련한다.
• 다양한 손실 함수와 데이터셋에 일반화되는 단일의 하이퍼파ram터 없는 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 딥 기능 매핑 기반 형태 매칭에서 최신 기술 성능을 달성하기 위해 필요한 최소한의 구성 요소는 무엇인가?
• RQ2 비용이 많이 드는 참조 대응을 대체할 수 있는 약한 감독(특히 약간의 강성으로 정렬된 것)이 성능을 유지하거나 향상시키는 데 효과적인가?
• RQ3 저랭크 라플라스 고유기저 표현과 기본적인 구조적 제약 조건이 다양한 손실 함수와 아키텍처에 일반화되는가?
• RQ4 학습 기반 기능 매핑 프레임워크가 일부 형태가 손실된 부분 형태 매칭에 성공적으로 확장될 수 있는가?
• RQ5 복잡한 정규화 기법이나 고비용의 테스트 시점 최적화에 의존하지 않고도 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 참조 대응이 없는 상태에서도 전체 형태 매칭 벤치마크에서 완전히 감독된 최신 기술 방법을 능가한다.
• 라플라스 고유함수 30개만을 사용하고 강성 정렬을 통한 약한 감독을 적용함으로써, 다양한 손실 함수에서 최신 기술 성능을 달성한다.
• SHREC’16 부분 대응 벤치마크에서 최신 기술 성능을 달성하여, Litany 등(2017b)의 비학습 기반 최신 기술 방법을 능가한다.
• 모델은 데이터셋과 손실 함수 간에 일반화되며, 최소한의 구성 요소를 사용할 경우 복잡한 정규화 기법과 기술자를 추가로 필요로 하지 않는다는 것을 입증한다.
• 제안된 부분 형태 매칭을 위한 방법은 기능 매핑을 사용하는 학습 기반 접근 방식 중에서 처음으로 이 문제를 다루며, 테스트 시점 최적화 없이 직접 추론이 가능하다.
• 실증적 아블레이션 분석을 통해, 이전 모델에서 복잡한 구성 요소(예: 참조 매핑, 정규화 기법)를 제거하고 제안된 최소한의 파이프라인으로 대체하면 동일하거나 더 좋은 성능을 낼 수 있음을 확인했다.