[논문 리뷰] Sparse Unsupervised Capsules Generalize Better

David Rawlinson, Abdelrahman Ahmed외 1명|arXiv (Cornell University)|2018. 04. 17.

Imbalanced Data Classification Techniques참고 문헌 23인용 수 47

한 줄 요약

본 논문은 감독 마스킹을 제거한 무감독 캡슐 학습이 캡슐 속성을 저하시킨다는 것을 보여주고, 희소 무감독 학습을 도입하면 이러한 속성을 회복하고 일반화 능력을 affNIST로 확장시켜 MNIST만으로 학습한 상태에서 SVM 분류기로 최대 90.12%에 도달한다.

ABSTRACT

We show that unsupervised training of latent capsule layers using only the reconstruction loss, without masking to select the correct output class, causes a loss of equivariances and other desirable capsule qualities. This implies that supervised capsules networks can't be very deep. Unsupervised sparsening of latent capsule layer activity both restores these qualities and appears to generalize better than supervised masking, while potentially enabling deeper capsules networks. We train a sparse, unsupervised capsules network of similar geometry to Sabour et al (2017) on MNIST, and then test classification accuracy on affNIST using an SVM layer. Accuracy is improved from benchmark 79% to 90%.

연구 동기 및 목표

• 잠재 캡슐 계층의 무감독 학습이 캡슐 품질과 일반화에 어떤 영향을 미치는지 조사한다.
• 희소성이 감독 마스킹 없이 캡슐 특이적 등가성을 회복할 수 있는지 여부를 판단한다.
• MNIST/affNIST에서 희소 무감독 캡슐 네트워크를 감독 마스킹 접근법과 비교한다.
• 외부 분류자와 함께 희소 무감독 캡슐의 일반화 성능을 평가한다.

제안 방법

• MASKING 및 마진 손실을 제거하도록 SUPCAPS 아키텍처를 수정하고 악화를 관찰한다.
• 출력에 기여하는 상위 k 개 잠재 캡슐(라우팅 지원에 의해 선정)만이 기여하는 희소 학습 방식을 도입한다.
• 모든 캡슐이 시간이 지남에 따라 참여하도록 온라인 라이프타임 희소성 제약을 적용한다.
• 희소성을 랭킹 기반 마스크 m_jk를 통해 강제하기 위해 배치당 및 이미지당 캡슐 활성화를 계산한다.
• MNIST로 학습하고 SVM 분류기를 사용하여 캡슐 출력에 대해 affNIST로의 일반화를 평가한다.
• 재구성 및 라우팅 분석을 제공하여 Dense 무감독 및 감독-용량 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 마스킹 없이 잠재 캡슐의 무감독 학습이 캡슐 특이적 등가성과 라우팅 역학을 보존할 수 있는가?
• RQ2 잠재 캡슐 활동의 희소화가 바람직한 캡슐 특성과 어 affine 변환 데이터로의 일반화를 개선할 수 있는가?
• RQ3 희소 무감독 SPARSECAPS는 MNIST/affNIST에서 SUPCAPS 및 일반적인 CNN과 어떻게 비교되는가?
• RQ4 라이프타임 희소성 제약이 캡슐 활용도와 성능에 미치는 영향은 무엇인가?

주요 결과

알고리즘	MNIST	affNIST
Conventional ConvNet (Sabour et al., 2017)	99.22%	66%
SUPCAPS (Sabour et al., 2017)	99.23%	79%
SPARSECAPS + SVM (a)	99%	90.12%
SPARSECAPS + SVM (b)	99%	16.99%
Unmasked SPARSECAPS + SVM (a)	97.37%	60.63%
Unmasked SPARSECAPS + SVM (b)	97.37%	15.70%

• 희소성이 없는 Dense 무감독 캡슐은 등가성과 라우팅 선택성을 잃고 affNIST에서 성능이 저하된다.
• 희소 무감독 학습은 캡슐 전문화와 동적 라우팅을 재확립하여 일반화를 향상시킨다.
• SPARSECAPS + SVM은 MNIST에서 학습될 때 affNIST에서 90.12%를 달성하며, SUPCAPS의 79%에 비해 높다.
• 마스크가 없는 Dense 무감독 캡슐은 성능이 좋지 않으며(affNIST 약 60.63% 또는 다른 설정에서 15.70%),
• K-희소 스타일 마스킹은 하나의 완전히 활성화된 잠재 캡슐과 소수의 부분적으로 활성화된 캡슐을 만들어 용량과 전문화의 균형을 이룬다.
• 희소 잠재 캡슐에서 관찰된 등가성은 스트로크 두께, 기울기, 형태 변형의 변화를 포함하며 의미 있는 잠재 요인을 시사한다.