[논문 리뷰] Dense and Diverse Capsule Networks: Making the Capsules Learn Better

Sai Samarth R Phaye, Apoorva Sikka외 2명|arXiv (Cornell University)|2018. 05. 10.

Advanced Neural Network Applications참고 문헌 14인용 수 45

한 줄 요약

이 논문은 Dense Capsule Networks (DCNet) 및 Diverse Capsule Networks (DCNet++)를 도입하여 표준 컨볼루션을 조밀하게 연결된 컨볼루션으로 대체하여 더 풍부한 primary capsules를 학습하고, MNIST 및 기타 데이터셋에서 수렴 속도를 높이고 정확도를 향상시키며, 매개변수를 줄인 CIFAR-10에서도 강력한 성능을 보인다.

ABSTRACT

Past few years have witnessed exponential growth of interest in deep learning methodologies with rapidly improving accuracies and reduced computational complexity. In particular, architectures using Convolutional Neural Networks (CNNs) have produced state-of-the-art performances for image classification and object recognition tasks. Recently, Capsule Networks (CapsNet) achieved significant increase in performance by addressing an inherent limitation of CNNs in encoding pose and deformation. Inspired by such advancement, we asked ourselves, can we do better? We propose Dense Capsule Networks (DCNet) and Diverse Capsule Networks (DCNet++). The two proposed frameworks customize the CapsNet by replacing the standard convolutional layers with densely connected convolutions. This helps in incorporating feature maps learned by different layers in forming the primary capsules. DCNet, essentially adds a deeper convolution network, which leads to learning of discriminative feature maps. Additionally, DCNet++ uses a hierarchical architecture to learn capsules that represent spatial information in a fine-to-coarser manner, which makes it more efficient for learning complex data. Experiments on image classification task using benchmark datasets demonstrate the efficacy of the proposed architectures. DCNet achieves state-of-the-art performance (99.75%) on MNIST dataset with twenty fold decrease in total training iterations, over the conventional CapsNet. Furthermore, DCNet++ performs better than CapsNet on SVHN dataset (96.90%), and outperforms the ensemble of seven CapsNet models on CIFAR-10 by 0.31% with seven fold decrease in number of parameters.

연구 동기 및 목표

• CapsNet 성능과 수렴 속도를 조밀하게 연결된 컨볼루션을 통해 개선한다.
• 조밀한 피처 연결을 활용하여 다양한 primary capsules를 학습한다.
• 계층적이고 거친-세밀한 캡슐 표현으로 CIFAR-10과 같은 복잡한 데이터셋의 한계를 다룬다.
• 모델 복잡성을 줄이면서 정확도를 유지하거나 향상시킨다.
• DenseNet 아이디어에서 영감을 받은 재구성 디코더 개선을 탐구한다.

제안 방법

• CapsNet의 표준 Conv 계층을 8레이어의 조밀한(convolutional) 서브네트워크로 교체하고, 계층 간 피처를 연결하여 primary capsules를 형성한다.
• 최종 조밀 블록에서 32개의 8차원 primary capsules를 형성한 다음 routing-by-agreement를 적용하여 DigitCaps를 도출한다.
• 더 나은 재구성을 위해 1층과 2층 피처를 연결하는 디코더로 수정한다.
• DCNet++를 계층적이고 다단계 아키텍처(세 레벨)로 도입하여 세부-대략적 공간 피처를 학습하고 레벨 간 표현을 공유한다.
• 가이드된 역전파를 사용하여 활성화를 분석하고 다양한 규모에서의 캡슐 표현을 유도한다.
• 공정한 비교를 위해 베이스라인과 동일한 매개변수 수로 학습하고 재구성 손실 스케일링을 조정하여 학습의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 조밀하고 건너뛰기 연결된 컨볼루션이 기본 CapsNet 대비 캡슐의 품질과 수렴 속도를 개선하는가?
• RQ2 DCNet++를 도입하여 CIFAR-10과 같은 복잡한 데이터셋에서 단일 CapsNet 및 DCNet에 비해 성능이 향상되는가?
• RQ3 풀링을 조밀한 연결로 대체하는 것이 캡슐의 공간 정보를 보존하는 데 어떤 영향을 미치는가?
• RQ4 재구성 디코더가 다층 융합으로 이익을 받아 더 나은 재구성과 학습 유도에 기여하는가?

주요 결과

• DCNet이 MNIST에서 50 에폭으로 99.75%의 테스트 정확도를 달성하며, 기존 CapsNet보다 총 학습 반복 수가 20배 적다.
• DCNet은 Fashion-MNIST에서 94.64%를 달성(100 에폭), 동등한 설정에서 베이스라인 CapsNet보다 우수한 성능을 보인다.
• SVHN에서 DCNet은 95.59%로 복제 CapsNet(93.23%)보다 높아지고, DCNet++는 이를 더 상회하여 96.90%를 달성한다.
• CIFAR-10에서 DCNet++는 13.4M 매개변수로 89.71%의 정확도에 도달했으며, 파라미터가 현저히 적은 상태에서 7모델 CapsNet 앙상블(89.40%)을 이긴다.
• DCNet은 SmallNORB 및 brain-tumor 데이터셋에서 의미 있는 개선을 보이며, DCNet++는 복잡한 데이터를 다루는 계층적이고 세밀한 학습 메커니즘을 제공한다.
• 전반적으로 DCNet 변형은 기존 CapsNet 베이스라인 및 앙상블 대비 매개변수 수가 같거나 적은 상태에서 경쟁력 있거나 우수한 성능을 달성한다.