[논문 리뷰] Unsupervised Detection of Distinctive Regions on 3D Shapes

Xianzhi Li, Lequan Yu외 3명|arXiv (Cornell University)|2019. 05. 05.

3D Shape Modeling and Analysis참고 문헌 60인용 수 4

한 줄 요약

이 논문은 레이블이 없는 점군을 이용해 3D 형상의 특징적인 영역을 탐지하기 위한 비지도 딥러닝 방법을 제안한다. 클러스터링 기반 소프트맥스와 대비 손실을 융합한 손실 함수를 활용해 레이블 없이도 각 점의 고유성을 학습한다. 주요 기여는 형상 클래스에 비해 영역 수준의 고유성을 식별하는 자체 학습 프레임워크를 제공함으로써, 모델넷40에서 최신 기술 수준의 성능을 기록한 검색, 샘플링, 시점 선택 등의 응용이 가능하다.

ABSTRACT

This paper presents a novel approach to learn and detect distinctive regions on 3D shapes. Unlike previous works, which require labeled data, our method is unsupervised. We conduct the analysis on point sets sampled from 3D shapes, then formulate and train a deep neural network for an unsupervised shape clustering task to learn local and global features for distinguishing shapes with respect to a given shape set. To drive the network to learn in an unsupervised manner, we design a clustering-based nonparametric softmax classifier with an iterative re-clustering of shapes, and an adapted contrastive loss for enhancing the feature embedding quality and stabilizing the learning process. By then, we encourage the network to learn the point distinctiveness on the input shapes. We extensively evaluate various aspects of our approach and present its applications for distinctiveness-guided shape retrieval, sampling, and view selection in 3D scenes.

연구 동기 및 목표

• 손으로 정의한 특징 또는 레이블이 없는 조건에서 3D 형상의 특징적인 영역을 탐지하기 위한 비지도 방법을 개발한다.
• 주어진 집합 내 다른 형상들과의 비교에서 영역의 고유성을 반영하는 각 점 및 각 형상의 특징을 학습한다.
• 고유성 기반 형상 검색, 점 샘플링, 최적의 시점 선택과 같은 응용을 가능하게 한다.
• 전역 특징이 부족한 동일 클래스 내 세부적인 형상 차이를 구분하는 데 도전한다.

제안 방법

• 유연하고 경량적인 입력 표현을 위해 각 3D 형상을 점군으로 표현한다.
• 비지도 클러스터링 작업을 통해 판별적인 각 점 및 각 형상의 특징을 학습하는 딥 네트워크를 설계한다.
• 클러스터링 기반 비모수적 소프트맥스와 변형된 대비 손실을 융합한 공동 손실을 제안하여 학습 안정성과 특징 품질을 향상시킨다.
• 학습된 네트워크에서 얻은 각 점의 특징을 이용해, 해당 점이 형상 집합 내에서 얼마나 고유한지를 반영하는 고유성 점수를 할당한다.
• 고유성 점수를 원본 메쉬로 복원하여 표면상의 특징적인 영역을 식별한다.
• 선택된 시점에서 고유성의 평균을 최대화함으로써 학습된 고유성을 하류 작업인 형상 검색, 샘플링, 시점 선택에 적용한다.

실험 결과

연구 질문

• RQ1 레이블 데이터나 사전 정의된 局부 특징이 없이도 고유성이 비지도 방식으로 효과적으로 학습될 수 있는가?
• RQ2 인터클래스와 인트라클래스 형상 집합 간에 네트워크의 특징적인 영역 탐지 능력은 어떻게 다를까?
• RQ3 특징적인 영역이 형상 분류 및 검색 성능에 얼마나 기여하는가?
• RQ4 고유성 기반 샘플링과 시점 선택이 기존 방법보다 형상 정보를 더 잘 유지할 수 있는가?

주요 결과

• 형상 검색에서 고유성 기반 탐지 성능이 최신 기술 수준을 기록하며, FoldingNet과 같은 일반적인 비지도 특징 학습 방법보다 뛰어난 성능을 보였다.
• 동일한 형상에서 탐지된 특징적인 영역은 기준 데이터셋에 따라 크게 달라진다: 인터클래스 탐지에서는 전반적인 윤곽을 강조하고, 인트라클래스 탐지에서는 비행기의 엔진과 같은 국소적 특징을 강조한다.
• 특징적인 영역에서 떨어진 점들을 샘플링해도 분류 정확도에 거의 영향을 주지 않아, 이러한 영역이 형상 구분에 핵심적임을 확인했다.
• 네트워크는 가시 점들의 평균 고유성을 최대화함으로써 3D 시점에서 최적의 시점을 자동으로 선택할 수 있었으며, 무작위 또는 최악의 시점보다 뛰어난 성능을 보였다.
• 비대칭적인 특징적인 영역을 탐지할 수 있었고, 향후 연구에서 형상 대칭성 사전 지식을 통합함으로써 성능 향상을 기대할 수 있다.