[논문 리뷰] Capsule Routing via Variational Bayes

Fabio De Sousa Ribeiro, Georgios Leontidis외 1명|arXiv (Cornell University)|2019. 05. 27.

Advanced Neural Network Applications참고 문헌 25인용 수 66

한 줄 요약

이 논문은 CapsNets용 Variational Bayes 캡슐 라우팅(VB 라우팅)을 도입하고 라우팅을 변환 가우시안의 혼합으로 형식화하며 Capsule-VAE를 가능하게 한다; smallNORB에서 ~50% 더 적은 캡슐로 최첨단 성능을 달성하며 다른 데이터셋에서도 강력한 결과를 보인다.

ABSTRACT

Capsule networks are a recently proposed type of neural network shown to outperform alternatives in challenging shape recognition tasks. In capsule networks, scalar neurons are replaced with capsule vectors or matrices, whose entries represent different properties of objects. The relationships between objects and their parts are learned via trainable viewpoint-invariant transformation matrices, and the presence of a given object is decided by the level of agreement among votes from its parts. This interaction occurs between capsule layers and is a process called routing-by-agreement. In this paper, we propose a new capsule routing algorithm derived from Variational Bayes for fitting a mixture of transforming gaussians, and show it is possible transform our capsule network into a Capsule-VAE. Our Bayesian approach addresses some of the inherent weaknesses of MLE based models such as the variance-collapse by modelling uncertainty over capsule pose parameters. We outperform the state-of-the-art on smallNORB using 50% fewer capsules than previously reported, achieve competitive performances on CIFAR-10, Fashion-MNIST, SVHN, and demonstrate significant improvement in MNIST to affNIST generalisation over previous works.

연구 동기 및 목표

• 전통적인 라우팅을 확률적 베이지안 라우팅 체계로 대체하여 캡슐 네트워크를 동기를 부여하고 개선한다.
• 가우시안 캡슐을 변환시키는 라우팅에 대한 변분 베이즈 구성으로 분산 붕괴를 줄이고 안정성을 높인다.
• 이 접근법이 smallNORB, CIFAR-10, Fashion-MNIST, SVHN 및 MNIST-affNIST 일반화에서 경쟁력 있거나 최첨단의 결과를 달성함을 입증한다.
• 초기화, 정규화 및 훈련에 대한 실용적인 지침을 제공하여 실무자들을 돕는다.

제안 방법

• 각 캡슐에 대해 W_ij 변환 행렬을 갖는 변환 가우시안의 혼합으로 캡슐을 모델링한다.
• 라우팅 할당과 캡슐 매개변수를 추론하기 위해 q(z, pi, mu, Lambda)를 분해된 형태로 사용하는 변분 추론을 활용한다.
• V_j|i = M_i W_ij로 표를 나타내고 책임도 R_ij를 이용한 베이지안 집계를 통해 상위 계층 포즈 M_j를 형성한다.
• Dirichlet( pi에 대한) 등共 공액 사전분포를 배치하고 mu, Lambda에 대해 Gaussian-Wishart를 사용하며 닫힌 형태의 VB 업데이트(Algorithm 1)를 도출한다.
• 선행 라벨 캡슐 a_j를prior 증거와 후행 엔트로피를 이용해 투표 합의를 측정하는 로지스틱 함수로 활성화한다(Eq. 14).
• 선택적으로 q*(mu_j, Lambda_j)에서 샘플링하여 잠재 코드를 형성함으로써 CapsNet을 Capsule-VAE로 변환한다(식 15–16).

실험 결과

연구 질문

• RQ1 변분 베이즈 라우팅이 CapsNets에서 EM 및 Dynamic routing에 비해 학습 안정성 및 성능을 향상시키는가?
• RQ2 MLE 기반 혼합 모델에 내재된 분산 붕괴 문제를 줄이고 사전(priors)을 통해 유연한 희소성을 허용하는 VB 기반 캡슐 라우팅 프레임워크가 가능한가?
• RQ3 VB 라우팅 방식이 표준 벤치마크(smallNORB, CIFAR-10, Fashion-MNIST, SVHN, MNIST-affNIST) 및 시점 일반화에 걸쳐 성능과 일반화에 어떤 영향을 미치는가?

주요 결과

• smallNORB에서 1.55%의 테스트 오차를 달성함(5번 실행에서 1.6%±0.06), 이전 최첨단 1.8%를 상회.
• 이전 방법들보다 약 50% 더 적은 캡슐로 경쟁력 있는 결과를 달성한다.
• Fashion-MNIST에서 최상의 테스트 오차 5.15%(5.2%±0.07).
• SVHN에서 최상의 테스트 오차 3.87%(3.9%±0.06).
• CIFAR-10에서 최상의 테스트 오차 11.14%(11.2%±0.09); 더 깊은 변형은 더 많은 레이어로 7.8%에 도달.
• MNIST에서 affNIST 일반화에 대한 개선을 이전 연구들보다 입증.
• VB 라우팅이 더 적은 파라미터로 여러 데이터셋에서 안정적인 학습과 경쟁력 있는 또는 우수한 성능을 제공함을 보인다.