[논문 리뷰] Canonical Capsules: Unsupervised Capsules in Canonical Pose

Weiwei Sun, Andrea Tagliasacchi외 5명|arXiv (Cornell University)|2020. 12. 08.

3D Shape Modeling and Analysis참고 문헌 60인용 수 22

한 줄 요약

이 논문은 3D 포인트 클라우드를 위한 비지도 캡슐 아키텍처를 제안하며, 순열에 대해 등변하는 어텐션을 사용하여 물체를 캡슐로 분해하고, 무작위로 회전된 물체 쌍을 통해 자기지도 학습을 수행한다. 어텐션 마스크를 정신적 키포인트로 집계함으로써 캡슐의 불변성/등변성 원칙을 강제 적용하여, 분류 레이블이나 정렬된 데이터셋 없이도 물체 중심의 표현 학습이 가능하게 하며, 3D 복원, 정렬, 비지도 분류 분야에서 최고 성능을 달성한다.

ABSTRACT

We propose an unsupervised capsule architecture for 3D point clouds. We compute capsule decompositions of objects through permutation-equivariant attention, and self-supervise the process by training with pairs of randomly rotated objects. Our key idea is to aggregate the attention masks into semantic keypoints, and use these to supervise a decomposition that satisfies the capsule invariance/equivariance properties. This not only enables the training of a semantically consistent decomposition, but also allows us to learn a canonicalization operation that enables object-centric reasoning. In doing so, we require neither classification labels nor manually-aligned training datasets to train. Yet, by learning an object-centric representation in an unsupervised manner, our method outperforms the state-of-the-art on 3D point cloud reconstruction, registration, and unsupervised classification. We will release the code and dataset to reproduce our results as soon as the paper is published.

연구 동기 및 목표

• 분류 레이블이나 수동 애너테이션 없이도 의미적으로 유의미한 물체 중심의 표현을 학습할 수 있는 비지도 캡슐 기반 아키텍처를 개발하는 것.
• 입력 물체의 무작위 회전을 통한 자기지도 학습을 통해 캡슐 분해가 불변성 및 등변성 성질을 만족하도록 하는 것.
• 정신적 키포인트에 어텐션 마스크를 집계하여 캡슐의 불변성/등변성 원칙에 따라 캡슐 행동을 정렬하는 데 사용할 수 있는 지도 신호를 제공하는 캐논리컬라이제이션 연산을 학습하는 것.
• 분류 레이블이나 쌍화된 데이터 없이도 비지도 학습에만 의존하여 3D 복원, 정렬, 비지도 분류 분야에서 최고 성능을 달성하는 것.

제안 방법

• 메서드는 3D 포인트 클라우드에서 캡슐 활성화를 계산하기 위해 순열에 대해 등변하는 어텐션을 사용하여, 포인트 순서가 바뀌더라도 일관된 어텐션을 보장한다.
• 동일한 물체의 무작위로 회전된 쌍을 사용하여 캡슐 분해를 자기지도 학습시키며, 물체의 회전에 대해 등변성을 강제한다.
• 어텐션 마스크는 정신적 키포인트로 집계되며, 이는 캡슐의 불변성/등변성 원칙에 따라 캡슐 행동을 정렬하는 지도 신호로 기능한다.
• 캐논리컬라이제이션 연산은 엔드 투 엔드로 학습되어, 입력 자세에 관계없이 일관된 물체 중심의 표현을 가능하게 한다.
• 아키텍처는 분류 레이블이나 쌍화된 데이터 없이 학습되며, 단지 자동으로 생성된 회전 증강 데이터를 통해 지도를 얻는다.

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드에서 캡슐 기반 표현을 완전히 비지도 방식으로 학습하면서도 의미적 일관성을 유지할 수 있는가?
• RQ2 분류 레이블이나 정렬 데이터 없이도 캡슐의 불변성 및 등변성을 어떻게 강제할 수 있는가?
• RQ3 정신적 키포인트로 어텐션 마스크를 집계하는 것이 캡슐 분해에 효과적인 지도 신호가 될 수 있는가?
• RQ4 비지도 캡슐 학습이 3D 복원, 정렬, 분류 성능 향상에 어느 정도 기여할 수 있는가?

주요 결과

• 제안된 방법은 어떠한 레이블 데이터도 사용하지 않고 3D 포인트 클라우드 복원에서 최고 성능을 달성한다.
• 3D 정렬 분야에서 기존 비지도 방법들을 능가하며, 물체 중심의 표현 덕분에 더 높은 정렬 정확도를 보인다.
• 비지도 분류 분야에서 뛰어난 성능을 기록하여, 학습된 캡슐이 의미적으로 의미 있는 특징을 포착하고 있음을 시사한다.
• 캐논리컬라이제이션 연산 덕분에 다양한 입력 자세에서도 일관된 물체 표현이 가능해져 강력한 물체 중심의 추론을 지원한다.