[논문 리뷰] Capsules with Inverted Dot-Product Attention Routing

Yao-Hung Hubert Tsai, Nitish Srivastava외 2명|arXiv (Cornell University)|2020. 02. 12.

Advanced Neural Network Applications참고 문헌 16인용 수 17

한 줄 요약

이 논문은 캡슐 네트워크를 위한 역전된 도트곱 어텐션 라우팅을 제안하며, 어머니 캡슐의 자세와 자식의 투표 간 일치도를 기반으로 캡슐을 라우팅하고, 역전된 어텐션을 적용하며, 레이어 정규화를 적용하고, 동시적인 반복적 라우팅을 가능하게 한다. 이 방법은 CIFAR-10에서 95.14%의 정확도와 CIFAR-100에서 78.02%의 정확도를 기록하며, ResNet-18과 유사한 성능을 내지만 파rameter 수를 4배 줄여 캡슐 네트워크가 복잡한 실세계 작업에 적용 가능한 가능성을 입증한다.

ABSTRACT

We introduce a new routing algorithm for capsule networks, in which a child capsule is routed to a parent based only on agreement between the parent's state and the child's vote. The new mechanism 1) designs routing via inverted dot-product attention; 2) imposes Layer Normalization as normalization; and 3) replaces sequential iterative routing with concurrent iterative routing. When compared to previously proposed routing algorithms, our method improves performance on benchmark datasets such as CIFAR-10 and CIFAR-100, and it performs at-par with a powerful CNN (ResNet-18) with 4x fewer parameters. On a different task of recognizing digits from overlayed digit images, the proposed capsule model performs favorably against CNNs given the same number of layers and neurons per layer. We believe that our work raises the possibility of applying capsule networks to complex real-world tasks. Our code is publicly available at: https://github.com/apple/ml-capsules-inverted-attention-routing An alternative implementation is available at: https://github.com/yaohungt/Capsules-Inverted-Attention-Routing/blob/master/README.md

연구 동기 및 목표

• 복잡한 데이터셋에서 기존 캡슐 라우팅 알고리즘의 확장성과 성능 한계를 해결하기 위해.
• 큰 파rameter 수를 요구하지 않고도 최신 기술 수준의 CNN과 경쟁할 수 있는 성능을 달성하기 위해 캡슐 네트워크를 가능하게 하기 위해.
• 어머니 캡슐과 자식 캡슐 간의 일치도를 역전된 어텐션 메커니즘을 통해 모델링하여 라우팅을 향상시키기 위해.
• 정규화와 동시 추론을 도입하여 캡슐 네트워크를 실세계 작업에까지 확장하기 위해.
• 캡슐 네트워크가 개선된 효율성과 정확도로 복잡한 시각 인식 작업에 실질적으로 적용될 수 있음을 입증하기 위해.

제안 방법

• 라우팅 메커니즘은 역전된 도트곱 어텐션을 사용하며, 하위 수준의 캡슐이 어머니 캡슐의 자세와 자식 캡슐의 투표 간 일치도를 기반으로 상위 수준의 캡슐에 주목한다.
• 라우팅 확률은 어머니 캡슐의 자세와 자식 캡슐의 투표 간 도트곱을 직접 계산하여 계산되며, 기존의 반복적 라우팅을 더 병렬화 가능한 과정으로 대체한다.
• 레이어 정규화는 캡슐 채널 전체에 적용되어 학습 안정성 향상과 최적화 개선에 기여한다.
• 모델은 캡슐 레이어 간 순차적인 레이어 기반 방식이 아니라 다중 캡슐 레이어에서 동시에 반복적 추론을 수행하여 캡슐 상태와 라우팅 확률을 함께 최적화한다.
• 캡슐 자세는 벡터에서 재형성된 행렬로 표현되어 더 풍부한 표현을 유지하면서도 계산 효율성을 유지한다.
• 아키텍처는 최신 기술 수준의 CNN 백본을 캡슐 레이어와 함께 통합하고, 계층적 특징 학습을 위해 컨볼루션 및 완전 연결 캡슐 레이어를 추가한다.

실험 결과

연구 질문

• RQ1 역전된 어텐션 메커니즘은 어머니 캡슐과 자식 캡슐 간의 일치도를 측정하여 캡슐 네트워크의 라우팅을 향상시킬 수 있는가?
• RQ2 캡슐 레이어 간 동시 반복적 라우팅이 순차적 레이어 기반 라우팅보다 정확도와 효율성 측면에서 뛰어나게 되는가?
• RQ3 레이어 정규화는 행렬 구조의 캡슐 자세를 가진 캡슐 네트워크에서 학습 안정성과 성능 향상에 기여하는가?
• RQ4 이러한 라우팅 메커니즘을 가진 캡슐 네트워크가 파arameter 수를 크게 줄여도 ResNet-18과 같은 강력한 CNN과 동등하거나 슈퍼어리어한 성능을 내는가?
• RQ5 캡슐 네트워크는 겹치는 물체를 인식하는 것과 같은 복잡한 실세계 작업에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 역전된 도트곱 어텐션 라우팅은 CIFAR-10에서 95.14%의 테스트 정확도를 달성하여 ResNet-18과 동일한 성능을 내지만, 파arameter 수를 4배 줄였다.
• CIFAR-100에서는 78.02%의 테스트 정확도를 기록하여 더 복잡한 데이터에 대한 강력한 일반화 능력을 입증했다.
• 겹치는 숫자가 있는 DiverseMultiMNIST 벤치마크에서, 동일한 레이어 수와 뉴런 수를 가진 CNN보다 캡슐 모델이 더 빨리 수렴했다.
• 행렬 구조의 자세 표현과 레이어 정규화를 사용함으로써, 벡터 구조의 자세 표현보다 학습 안정성과 성능 향상이 뚜렷했다.
• 동시 라우팅 메커니즘은 순차적 반복 라우팅보다 더 빠른 추론과 더 나은 확장성을 제공했다.
• 기존의 캡슐 네트워크, 특히 DeepCaps(92.74% on CIFAR-10)를 능가하는 성능을 보였으며, 캡슐 네트워크가 복잡한 시각 인식 작업에서 최신 기술 수준의 CNN과 경쟁 가능함을 보여주었다.