[논문 리뷰] Capsule Network Performance on Complex Data

Edgar Xi, Selina Bing외 1명|arXiv (Cornell University)|2017. 12. 10.

Advanced Neural Network Applications참고 문헌 2인용 수 180

한 줄 요약

이 논문은 캡슐 네트워크가 CIFAR-10에서 어떻게 수행하는지 평가하고, 정확도를 MNIST 결과를 넘어 개선하기 위한 수정(앙상블, 합성 계층, 재구성 스케일링)을 탐구하며, 복잡한 데이터에서의 한계를 논의한다.

ABSTRACT

In recent years, convolutional neural networks (CNN) have played an important role in the field of deep learning. Variants of CNN's have proven to be very successful in classification tasks across different domains. However, there are two big drawbacks to CNN's: their failure to take into account of important spatial hierarchies between features, and their lack of rotational invariance. As long as certain key features of an object are present in the test data, CNN's classify the test data as the object, disregarding features' relative spatial orientation to each other. This causes false positives. The lack of rotational invariance in CNN's would cause the network to incorrectly assign the object another label, causing false negatives. To address this concern, Hinton et al. propose a novel type of neural network using the concept of capsules in a recent paper. With the use of dynamic routing and reconstruction regularization, the capsule network model would be both rotation invariant and spatially aware. The capsule network has shown its potential by achieving a state-of-the-art result of 0.25% test error on MNIST without data augmentation such as rotation and scaling, better than the previous baseline of 0.39%. To further test out the application of capsule networks on data with higher dimensionality, we attempt to find the best set of configurations that yield the optimal test error on CIFAR10 dataset.

연구 동기 및 목표

• MNIST를 넘어서는 더 높은 차원 데이터(CIFAR-10)에 대한 캡슐 네트워크의 적용 가능성 평가.
• 복잡한 데이터에서의 성능 향상을 위한 아키텍처 및 학습 수정사항 조사.
• 재구성 규제 및 학습되는 더 풍부한 표현에 미치는 영향 분석.
• 기본 MNIST 구성과 비교하고 한계를 논의.

제안 방법

• baseline으로 Hinton의 MNIST 기반 3 채널 캡슐 네트워크에서 시작.
• 더 많은 캡슐 계층을 쌓고 주 캡슐의 수를 늘려 실험.
• 테스트 시점에 여러 모델을 앙상블 평균화하여 결합.
• 캡슐 층 전에 재구성 손실 스케일링 및 합성층의 수를 조정.
• Squash 함수 대신 맞춤 활성 함수 사용 실험.
• 'none of the above' 카테고리를 포함하여 정확도에 미치는 영향 평가.

실험 결과

연구 질문

• RQ1 적절한 아키텍처 변화로 CIFAR-10에서 캡슐 네트워크가 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 합성 층 추가, 더 많은 캡슐, 앙상블링이 CIFAR-10 검증 정확도에 어떤 영향을 미치는가?
• RQ3 재구성 스케일링이 고차원 데이터의 과적합 및 수렴에 어떤 영향을 미치는가?
• RQ4 맞춤 활성화나 추가 캡슐 층이 CIFAR-10에서 성능을 개선하거나 악화시키는가?

주요 결과

• Best model: 4-ensemble with 2 convolution layers achieving 71.550% validation accuracy at 50 epochs.
• 합성층을 하나 추가하면 유효성 검사 정확도가 0.41% 증가한다.
• 4모델 앙상블은 50에폭에서 베이스라인 대비 유효성 검사 정확도를 1.85% 증가시킨다.
• 추가 콘볼루션이 있는 7-모델 앙상블은 4-앙상블+2 Conv 대비 미미한 증가를 보였으나 자원 문제로 완전한 테스트는 수행되지 않았다.
• 추가 캡슐 계층의 쌓기는 베이스라인에 비해 현저히 성능이 떨어졌다.
• 재구성 스케일링과 캡슐 타입 수를 늘리는 것은 기대에 비해 실적이 저조했다.