[논문 리뷰] Geometric Capsule Autoencoders for 3D Point Clouds

Nitish Srivastava, Hanlin Goh외 1명|arXiv (Cornell University)|2019. 12. 06.

3D Shape Modeling and Analysis참고 문헌 21인용 수 14

한 줄 요약

이 논문은 3D 포인트 클라우드를 위한 기하학적 캡슐 오토에인코더를 제안하며, 자세에 불변인 기하학적 캡슐을 사용하여 비지도 학습 방식으로 계층적이고 해석 가능한 객체 부분과 전체 객체를 학습합니다. 핵심 혁신은 캐논리컬 자세 탐지와 자세에 불변인 특징 학습을 가능하게 하는 다중 시점 일치 투표 기반 메커니즘으로, ModelNet40 및 ShapeNet에서 기울인 객체에 대해 94.3%의 상위 1위 검색 정확도를 달성합니다.

ABSTRACT

We propose a method to learn object representations from 3D point clouds using bundles of geometrically interpretable hidden units, which we call geometric capsules. Each geometric capsule represents a visual entity, such as an object or a part, and consists of two components: a pose and a feature. The pose encodes where the entity is, while the feature encodes what it is. We use these capsules to construct a Geometric Capsule Autoencoder that learns to group 3D points into parts (small local surfaces), and these parts into the whole object, in an unsupervised manner. Our novel Multi-View Agreement voting mechanism is used to discover an object's canonical pose and its pose-invariant feature vector. Using the ShapeNet and ModelNet40 datasets, we analyze the properties of the learned representations and show the benefits of having multiple votes agree. We perform alignment and retrieval of arbitrarily rotated objects -- tasks that evaluate our model's object identification and canonical pose recovery capabilities -- and obtained insightful results.

연구 동기 및 목표

• 3D 포인트 클라우드에서 비지도 학습 방식으로 해석 가능하고 기하학적으로 의미 있는 객체 표현을 학습하는 것.
• 지도 없이도 캐논리컬 객체 자세와 자세에 불변인 특징 벡터를 탐지하는 것.
• 기하학적 캡슐이라는 이산 계산 엔터티를 사용하여 부분과 전체 객체 간의 계층적 관계를 모델링하는 것.
• 객체 수준 캡슐의 상향식 가이던스를 통해 부분 수준 해석의 모호함을 해소하는 것.
• 정렬 및 검색 작업을 통해 객체 회전에 대한 모델의 강건성을 평가하는 것.

제안 방법

• 각 기하학적 캡슐은 6-자유도 자세(위치 및 방향)와 형태 및 정체성을 나타내는 특징 벡터를 사용하여 시각적 실체를 인코딩합니다.
• 모델은 3D 포인트를 국소 표면 부분으로 군집화하는 PointsToParts 오토에인코더를 사용하며, 각 부분은 자세와 특징을 가진 캡슐로 표현됩니다.
• 새로운 다중 시점 일치 메커니즘이 다수의 시점에서의 투표를 집계하여 전체 객체의 캐논리컬 자세와 불변 특징을 추론합니다.
• PartsToObject 레이어는 객체 캡슐의 상향식 어텐션을 사용하여 부분 캡슐 라우팅을 가이드하며, 입력과 출력 부분 분해를 분리합니다.
• 재구성 손실과 다중 시점 간의 일치를 장려하는 라우팅 메커니즘을 사용하여 모델을 엔드 투 엔드로 훈련합니다.
• 3D 회전을 표현하기 위해 허니톤을 사용하여 기하학적 해석 가능성과 유효한 회전으로의 제약을 보장합니다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 3D 포인트 클라우드에서 완전히 비지도 방식으로 캐논리컬 객체 자세와 자세에 불변인 특징 표현을 학습할 수 있는가?
• RQ2 다중 시점 일치 기법이 다양한 시점 간에 일관된 객체 수준 표현을 탐지하는 데 얼마나 효과적인가?
• RQ3 학습된 표현이 객체 회전에 대해 얼마나 불변이며, 부분 수준 자세 변화에 대해 얼마나 등변적인가?
• RQ4 기존 아키텍처에 비해 기하학적 캡슐이 원시 포인트 클라우드에서 국소적이고 의미 있는 부분을 학습하는 데 얼마나 효과적인가?
• RQ5 모델이 임의의 회전 조건 하에서도 객체 검색 및 정렬 작업으로 일반화할 수 있는가?

주요 결과

• 모델은 ModelNet40 및 ShapeNet의 기울인 객체에서 94.3%의 상위 1위 검색 정확도와 95.9%의 상위 10위 정확도를 기록하여 강력한 자세에 불변인 표현 학습 능력을 입증했습니다.
• 1-NN 분류 정확도가 96.0%로, 무작위로 기울인 후에도 모델이 항상 정확한 객체 인스턴스를 검색함을 나타냅니다.
• PartsToObject 레이어를 사용할 경우 객체 회전에 대해 높은 불변성을 보였지만, 부분 캡슐만 사용할 경우 성능이 크게 떨어져 전체 오토에인코더 아키텍처의 중요성을 입증합니다.
• 시각화 결과는 부분 캡슐이 국소적이고 부드러운 표면 영역을 탐지하도록 학습하는 것으로 나타났으며, 자세-특징의 명시적 분리 덕분에 이전 방법들(예: 3DCapsNet)보다 더 국소화된 부분을 학습합니다.
• 모델의 캐논리컬 자세 탐지는 완전히 유일하지는 않지만, 다중 시점 일치 기법이 여러 시점 간의 일관성과 강건성을 크게 향상시킵니다.
• 포인트 회전 설정 하에서 1-NN 분류 정확도가 44%로, 정확한 인스턴스 매칭은 실패하지만 클래스 수준의 일반화 능력은 유지됨을 시사합니다.