[논문 리뷰] Stacked Capsule Autoencoders

Adam R. Kosiorek, Sara Sabour외 2명|arXiv (Cornell University)|2019. 06. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 36

한 줄 요약

Stacked Capsule Autoencoders (scae)는 감독 없이 객체의 부분과 시점을 학습하고, 부분을 객체 캡슐로 구성하여 MNIST와 SVHN에서 최첨단의 비지도 학습 분류를 달성합니다.

ABSTRACT

Objects are composed of a set of geometrically organized parts. We introduce an unsupervised capsule autoencoder (SCAE), which explicitly uses geometric relationships between parts to reason about objects. Since these relationships do not depend on the viewpoint, our model is robust to viewpoint changes. SCAE consists of two stages. In the first stage, the model predicts presences and poses of part templates directly from the image and tries to reconstruct the image by appropriately arranging the templates. In the second stage, SCAE predicts parameters of a few object capsules, which are then used to reconstruct part poses. Inference in this model is amortized and performed by off-the-shelf neural encoders, unlike in previous capsule networks. We find that object capsule presences are highly informative of the object class, which leads to state-of-the-art results for unsupervised classification on SVHN (55%) and MNIST (98.7%). The code is available at https://github.com/google-research/google-research/tree/master/stacked_capsule_autoencoders

연구 동기 및 목표

• 시점 변화에 강인한 구조화된 객체 표현의 비지도 학습을 추진한다.
• 부분 캡슐 자동인코더와 객체 캡슐 자동인코더라는 두 단계 아키텍처를 개발하여 부분을 분할하고 이를 객체로 조립한다.
• 부분과 객체 간의 기하학적 관계를 활용하여 비지도 분류 및 해석 가능성을 향상시킨다.

제안 방법

• 유사 변환으로 변형된 별자리로 2D 점 집합을 모델링하기 위해 Constellation Autoencoder (ccae)를 도입한다.
• 이미지에서 부품 자세와 존재를 추론하고 아핀 변환된 템플릿으로 재구성하기 위해 Part Capsule Autoencoder (pcae)를 개발한다.
• pcae를 Object Capsule Autoencoder (ocae)와 함께 쌓아 scae를 형성한다; 객체 캡슐은 부분 자세를 예측하고 재구성을 위한 예측을 혼합한다.
• 이미지를 변형된 템플릿과 부분 자세로부터 얻어진 구성요소를 갖는 공간 가우시안 혼합으로 모델링한다.
• 다양하고 특화된 캡슐 사용을 촉진하기 위해 희소성과 엔트로피 기반 손실을 도입한다.

실험 결과

연구 질문

• RQ1 부분 캡슐과 객체 캡슐의 비지도 학습이 이미지에서 의미 있는 객체 구조를 발견할 수 있는가?
• RQ2 객체 캡슐의 존재 여부가 비지도 클래스 발견에 유의미한 신호를 제공하는가?
• RQ3 기하학적 변환과 부품–시야 관계가 시점 불변 추론을 가능하게 하는 방식은 무엇인가?
• RQ4 희소성 및 인코더 선택이 비지도 분류 및 일반화에 미치는 영향은 무엇인가?

주요 결과

• scae는 MNIST에서 최첨단 비지도 분류를 달성한다(lin-match로 98.7%; lin-pred로 99.0%), 그리고 SVHN에서(lin-match로 55.33%; lin-pred로 67.27%).
• 객체 캡슐 존재 벡터는 클래스 레이블과 상관관계가 있는 촘촘한 군집을 형성하여 비지도 클래스 발견을 가능하게 한다.
• Ablation 연구는 희소성 손실, 노이즈 주입, 변환 유형, 부분-인코더 선택, 객체 캡슐 인코딩을 위한 Set Transformer의 기여를 보여준다.
• MNIST의 비지도 클러스터링 성능은 시점 일반화 작업(AffNIST)으로 개선되어 한 설정에서 92.2%에 도달한다.
• 두 단계 아키텍처(pcae + ocae)와 ccae 기반 사전 학습을 사용하면 이미지로부터 비지도 분할 및 객체 발견이 가능하다.
• 고정된 템플릿과 배경 모델링의 한계로 CIFAR-10에서 성능이 떨어지며, 더 깊은 계층 구조나 입력 의존적 템플릿의 가능성을 시사한다.