[논문 리뷰] Canonical Capsules: Self-Supervised Capsules in Canonical Pose

Weiwei Sun, Andrea Tagliasacchi외 5명|arXiv (Cornell University)|2020. 12. 08.

3D Shape Modeling and Analysis인용 수 36

한 줄 요약

자체 감독(Self-supervised) 3D 포인트 클라우드 캡슐 아키텍처를 제안하여 라벨 없이도 정규 프레임을 학습하고 의미적으로 일관된 부품 분해를 수행하며, 재구성, 정규화 및 비지도 분류를 향상시킵니다.

ABSTRACT

We propose a self-supervised capsule architecture for 3D point clouds. We compute capsule decompositions of objects through permutation-equivariant attention, and self-supervise the process by training with pairs of randomly rotated objects. Our key idea is to aggregate the attention masks into semantic keypoints, and use these to supervise a decomposition that satisfies the capsule invariance/equivariance properties. This not only enables the training of a semantically consistent decomposition, but also allows us to learn a canonicalization operation that enables object-centric reasoning. To train our neural network we require neither classification labels nor manually-aligned training datasets. Yet, by learning an object-centric representation in a self-supervised manner, our method outperforms the state-of-the-art on 3D point cloud reconstruction, canonicalization, and unsupervised classification.

연구 동기 및 목표

• 사전 정렬된 데이터 세트 없이 3D 포인트 클라우드에 대한 비지도 학습을 고무한다.
• 주의를 통해 순열 등가(permutation-equivariant) 캡슐 분해를 개발한다.
• 객체 중심 추론을 가능하게 하는 정규 프레임(정규 캡슐 프레임)을 학습한다.
• 무작위로 회전된 객체의 Siamese 쌍으로 엔드투엔드 학습한다.
• 3D에서 최첨단 자동 인코딩, 정규화 및 분류를 시연한다.

제안 방법

• 순열 등가 캡슐 인코더 E를 통해 포인트 클라우드의 K-부분 분해를 계산한다.
• 주목 마스크를 집계해 K개의 캡슐 자세 theta_k와 디스크립터 β_k를 얻는다(방정식 2).
• 디스크립터로부터 정규 캡슐 자세 bar{theta}를 얻기 위해 네트워크 K를 사용해 회귀하고 지역성을 강제한다.
• 학습된 정규 키포인트 bar{theta}를 예측된 자세와 정합시키기 위해 강체 정렬을 해결하여 정규화한다(방정식 5).
• 정규 프레임에서 각 캡슐의 포인트 클라우드를 디코드하고 입력을 재구성한다(방정식 4). Chamfer 거리로 재구성 손실을 사용한다(방정식 11).
• 무작위 회전/이동된 모양의 Siamese 쌍으로 학습해 등가성/불변성을 강제한다(손실 L_equivariance, L_invariance, L_equilibrium, L_localization, L_canonical).

실험 결과

연구 질문

• RQ1 자체 감독 캡슐 분해가 정렬되지 않은 3D 포인트 클라우드에서 의미적으로 일관된 부분을 도출할 수 있는가?
• RQ2 정규 프레임 학습이 재구성 및 다운스트림 작업을 위한 객체 중심 표현을 향상시키는가?
• RQ3 제안된 정규화가 변환 불변성/등가성과 어떻게 상호 작용하여 비지도 분류를 가능하게 하는가?
• RQ4 다양한 손실 항의 재구성 품질 및 정규화 안정성에 미치는 영향은 무엇인가?

주요 결과

• Aligned 및 Unaligned ShapeNet 데이터에서 Chamfer 거리 기반 최첨단 자동 인코딩을 달성 (예: Our method: 0.96, 1.99, 1.76 for Airplane/Chair/Multi Aligned; 1.11, 2.58, 2.22 for Unaligned).
• 의미적으로 일관된 분해와 향상된 재구성 디테일(예: 날개, 엔진)을 가능하게 하는 학습된 정규 프레임을 학습한다.
• 정규화 및 쌍 기준 정합에서 경쟁력 있는/강한 성능을 보이며, 안정성 지표(mStd)가 여러 베이스라인을 능가한다.
• Canonical Capsules를 통해 학습된 특징은 비지도 분류 성능을 더욱 향상시키며(상위 1위 정확도: 정렬됨 94.21% SVM; 비정렬 87.33% SVM).
• 부분 실험은 재구성 및 정규화 품질 유지에 등가성/불변성/정규 손실의 필수 역할을 보여준다.