[논문 리뷰] Capsule Networks with Max-Min Normalization

Zhao Zhen, Ashley Kleinhans외 3명|arXiv (Cornell University)|2019. 03. 22.

Advanced Neural Network Applications참고 문헌 15인용 수 40

한 줄 요약

논문은 CapsNets의 Softmax 라우팅을 축척 불변의 Max-Min 정규화로 대체하여 다섯 데이터셋에서 정확도를 개선하고, 더 많은 라우팅 반복을 성능 손실 없이 가능하게 한다.

ABSTRACT

Capsule Networks (CapsNet) use the Softmax function to convert the logits of the routing coefficients into a set of normalized values that signify the assignment probabilities between capsules in adjacent layers. We show that the use of Softmax prevents capsule layers from forming optimal couplings between lower and higher-level capsules. Softmax constrains the dynamic range of the routing coefficients and leads to probabilities that remain mostly uniform after several routing iterations. Instead, we propose the use of Max-Min normalization. Max-Min performs a scale-invariant normalization of the logits that allows each lower-level capsule to take on an independent value, constrained only by the bounds of normalization. Max-Min provides consistent improvement in test accuracy across five datasets and allows more routing iterations without a decrease in network performance. A single CapsNet trained using Max-Min achieves an improved test error of 0.20% on the MNIST dataset. With a simple 3-model majority vote, we achieve a test error of 0.17% on MNIST.

연구 동기 및 목표

• Softmax의 한계를 다루어 CapsNet 동적 라우팅의 개선을 동기 부여한다.
• 스케일 불변의 라우팅 계수 정규화로 Max-Min 정규화를 제안한다.
• 여러 데이터셋과 라우팅 반복에 대해 Max-Min을 평가한다.
• MNIST 성능 개선 및 앙상블 가능성의 이점을 보여준다.

제안 방법

• CapsNets의 라우팅 절차에서 Softmax를 Max-Min으로 교체한다.
• 라우팅 계수를 0과 1 사이에서 독립적으로 경계 짓도록 허용한다.
• PrimaryCaps와 DigitCaps 계층을 갖는 3층 CapsNet 아키텍처를 사용한다.
• 표준 마진 손실과 재구성 손실에 더해 라우팅 반복을 사용하여 학습한다.
• Softmax 대 Max-Min 하에서 로짓과 라우팅 계수의 변화를 비교한다.

실험 결과

연구 질문

• RQ1 Max-Min 정규화가 데이터셋 전반에 걸쳐 Softmax에 비해 CapsNet의 라우팅 품질을 향상시키는가?
• RQ2 Max-Min이 캡슐 계층 간의 라우팅 계수 동역학 및 특징 결합에 어떤 영향을 미치는가?
• RQ3 Max-Min로 라우팅 반복을 늘리면 과적합 없이 정확도를 높일 수 있는가?
• RQ4 MNIST 성능에 대한 Max-Min의 영향은 Softmax와 비교하여 어떠한가?
• RQ5 두 정규화 하에서 DigitCaps 출력에 질적 차이가 있는가?

주요 결과

정규화	MNIST [%]	rMNIST [%]	fMNIST [%]	bMNIST [%]	CIFAR10 [%]
Softmax	99.28 ± 0.06	93.72 ± 0.08	90.52 ± 0.14	89.08 ± 0.19	73.65 ± 0.09
Max-Min	99.55 ± 0.02	95.42 ± 0.03	92.07 ± 0.12	93.09 ± 0.04	75.92 ± 0.27

• Softmax에 비해 Max-Min은 MNIST, rMNIST, fMNIST, bMNIST, CIFAR10에서 일관되게 테스트 정확도를 향상시킨다.
• Max-Min은 성능 저하 없이 더 많은 라우팅 반복을 가능하게 하고 과적합을 감소시킨다.
• Max-Min을 사용한 단일 CapsNet은 MNIST에서 0.20%의 테스트 오차를 달성; 3-모델 앙상블은 0.17%에 도달한다.
• Max-Min 하의 라우팅 계수는 더 큰 변화를 보이고 여러 상위 캡슐이 높은 할당을 받도록 한다.
• Max-Min과 함께한 MNIST 결과는 최소한의 증강으로 최첨단에 근접한다.