[논문 리뷰] Neural Network Encapsulation

Hongyang Li, Xiaoyang Guo외 3명|arXiv (Cornell University)|2018. 08. 11.

Advanced Neural Network Applications참고 문헌 24인용 수 4

한 줄 요약

이 논문은 캡슐 네트워크의 계산 비용이 높은 반복 라우팅을 대체하기 위해 한 번만 수행되는 지도 학습 기반의 마스터-에이드 라우팅 메커니즘을 도입한 EncapNet라는 캡슐 네트워크 아키텍처를 제안한다. 또한 최적 운반 이론 발산을 사용하는 피드백 일치 단위를 도입하여 특징 학습을 정규화함으로써, 강력한 데이터 증강 조건 하에서 CIFAR-10/100, SVHN, 그리고 ImageNet의 일부에서 각각 3.10%, 24.01%, 40.05%의 오차율로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

A capsule is a collection of neurons which represents different variants of a pattern in the network. The routing scheme ensures only certain capsules which resemble lower counterparts in the higher layer should be activated. However, the computational complexity becomes a bottleneck for scaling up to larger networks, as lower capsules need to correspond to each and every higher capsule. To resolve this limitation, we approximate the routing process with two branches: a master branch which collects primary information from its direct contact in the lower layer and an aide branch that replenishes master based on pattern variants encoded in other lower capsules. Compared with previous iterative and unsupervised routing scheme, these two branches are communicated in a fast, supervised and one-time pass fashion. The complexity and runtime of the model are therefore decreased by a large margin. Motivated by the routing to make higher capsule have agreement with lower capsule, we extend the mechanism as a compensation for the rapid loss of information in nearby layers. We devise a feedback agreement unit to send back higher capsules as feedback. It could be regarded as an additional regularization to the network. The feedback agreement is achieved by comparing the optimal transport divergence between two distributions (lower and higher capsules). Such an add-on witnesses a unanimous gain in both capsule and vanilla networks. Our proposed EncapNet performs favorably better against previous state-of-the-arts on CIFAR10/100, SVHN and a subset of ImageNet.

연구 동기 및 목표

• 캡슐 네트워크에서 반복 라우팅의 높은 계산 복잡도가 네트워크 깊이에 따라 비선형적으로 증가하는 문제를 해결하기 위해.
• 이중 분기 라우팅 메커니즘을 통해 하위 캡슐이 상위 캡슐 활성화에 더 효과적으로 기여할 수 있도록 특징 표현을 향상시키기 위해.
• 최적 운반 이론 발산 기반 피드백 정규화 메커니즘을 도입하여 깊은 네트워크에서의 정보 손실을 줄이기 위해.
• 캡슐 네트워크와 일반 CNN의 성능을 향상시키기 위해 경량이며 학습 가능한 피드백 단위를 통해 계층 간 일치를 강제하기 위해.

제안 방법

• 마스터-에이드 라우팅 메커니즘 도입: 마스터 브랜치는 직접 하위 레이어 캡슐을 사용하고, 에이드 브랜치는 채널을 across하여 패턴 변형을 탐색하여 정보를 보완한다.
• 기존 캡슐 네트워크의 반복적 비지도 라우팅을 대체하기 위해 마스터 및 에이드 브랜치를 한 번의 지도 학습 프로세스로 동시에 훈련시킨다.
• 상위 레이어 캡슐 출력을 하위 레이어로 되돌려 보내는 피드백 일치 단위를 설계한다.
• 하위 및 상위 캡슐 특징 간 분포 거리 측정을 위해 최적 운반 이론 발산(Sinkhorn 손실)을 사용하며, 이 거리를 훈련 중 최소화한다.
• 훈련 중에 미분 가능한 정규화 손실로 피드백 단위를 통합하며, 추론 시에는 이를 제거한다.
• 표준 backpropagation와 함께 엔드 투 엔드 훈련을 지원하는 컨볼루션 캡슐 레이어(capConv)에 이 방법을 구현한다.

실험 결과

연구 질문

• RQ1 한 번의 통과로 수행되는 지도 학습 기반 라우팅 메커니즘이 반복 라우팅의 성능을 근사하면서도 계산 비용을 크게 감소시킬 수 있는가?
• RQ2 상위 캡슐에서 하위 캡슐로 피드백 신호를 도입함으로써 캡슐 네트워크의 특징 학습과 일반화 성능이 향상되는가?
• RQ3 최적 운반 이론 발산이 깊은 네트워크에서 계층 간 일치를 위한 효과적인 정규화 지표로 기능할 수 있는가?
• RQ4 제안된 피드백 메커니즘이 캡슐 네트워크 외에도 일반 CNN에서 성능 향상에 기여하는가?

주요 결과

• EncapNet는 강력한 데이터 증강 조건 하에서 CIFAR-10에서 3.10%의 테스트 오차율을 기록하여, 이전 최신 기술 수준(SOTA) 방법들을 초월한다.
• CIFAR-100에서는 EncapNet가 24.01%의 오차율을 기록하며, 이전 캡슐 기반 모델들에 비해 뚜렷한 향상을 보였다.
• SVHN에서는 EncapNet가 1.52%의 오차율을 기록하여, 숫자 인식 작업에서 강력한 일반화 성능을 입증했다.
• ImageNet의 일부(h-ImageNet)에서 EncapNet_v3++는 40.05%의 Top-1 오차율을 기록하여, 2위인 WRN 모델의 42.51%를 뛰어넘었다.
• 피드백 일치 단위는 캡슐 네트워크뿐 아니라 일반 CNN에서도 성능 향상을 이끌어내어, 일반화 가능한 정규화 기법임을 시사한다.
• 제거 실험(ablation study) 결과, 특징 추출기, 최적 운반 이론 발산, 마스터-에이드 상호작용 모두 성능 향상에 필수적이며, 이들의 제거는 오차율을 크게 증가시킨다.