[논문 리뷰] Limitations of routing-by-agreement based capsule networks.

David Peer, Sebastian Stabinger외 1명|arXiv (Cornell University)|2019. 05. 21.

Topic Modeling참고 문헌 11인용 수 7

한 줄 요약

이 논문은 라우팅-협의 기반 캡슐 네트워크의 핵심적 한계를 규명한다: 편향 항목이 부재함으로써 대칭적인 입력에 대한 모호성이 발생하여 더 깊은 아키텍처의 학습이 어려워진다. 학습 가능한 편향 항목 또는 캡슐 활성화 벡터에 새로운 편향 인코딩 방식을 도입함으로써, 추가 파라미터 없이도 더 깊은 캡슐 네트워크의 안정적 학습을 가능하게 한다.

ABSTRACT

Classical neural networks add a bias term to the sum of all weighted inputs. For capsule networks, the routing-by-agreement algorithm, which is commonly used to route vectors from lower level capsules to upper level capsules, calculates activations without a bias term. In this paper we show that such a term is also necessary for routing-by-agreement. We will proof that for every input there exists a symmetric input that cannot be distinguished correctly by capsules without a bias term. We show that this limitation impacts the training of deeper capsule networks negatively and that adding a bias term allows for the training of deeper capsule networks. An alternative to a bias is also presented in this paper. This novel method does not introduce additional parameters and is directly encoded in the activation vector of capsules.

연구 동기 및 목표

• 라우팅-협의 기반 캡슐 네트워크에서 편향 항목이 부재함을 핵심적 한계로 규명하는 것.
• 편향 항목이 없을 경우 대칭적인 입력을 구분할 수 없어 학습의 불안정성이 발생함을 입증하는 것.
• 편향 항목을 도입함으로써 더 깊은 캡슐 네트워크의 성공적인 학습이 가능해짐을 보여주는 것.
• 추가 파라미터 없이 직접 캡슐 활성화 벡터에 인코딩된 파라미터 프리(parameter-free) 대체 편향 메커니즘을 제안하는 것.

제안 방법

• 이론적 분석을 통해 어떤 입력에 대해서도 대칭적인 대응 입력이 존재하며, 편향 항목이 없을 경우 라우팅-협의 방식이 이를 구분할 수 없음을 증명한다.
• 라우팅-협의 메커니즘에 학습 가능한 편향 항목을 도입하여 대칭성에 기인한 모호성을 해결한다.
• 기존의 파라미터를 추가하지 않고도 캡슐 활성화 벡터 내부에 직접 편향을 인코딩하는 대안적 방법을 제안한다.
• 제안된 편향 메커니즘을 라우팅 알고리즘에 통합하고 더 깊은 캡슐 네트워크 아키텍처에서 평가한다.
• 이론적 및 실증적 검증을 통해 도입된 편향으로 인해 더 깊은 네트워크에서 안정성과 성능 향상이 이루어짐을 확인한다.

실험 결과

연구 질문

• RQ1 라우팅-협의 기반 캡슐 네트워크에서 편향 항목이 부재함으로써 대칭적인 입력을 구분하는 데 모호성이 발생하는가?
• RQ2 편향 항목이 없을 경우 더 깊은 캡슐 네트워크의 학습에 어떤 영향을 미치는가?
• RQ3 학습 가능한 편향 항목이 더 깊은 캡슐 네트워크의 학습 안정성과 성능 향상에 기여하는가?
• RQ4 캡슐 네트워크에서 추가적인 파라미터 없이도 편향 통합이 가능한가?

주요 결과

• 라우팅-협의 기반 캡슐 네트워크에서 편향 항목이 부재함으로써 대칭적인 입력을 구분하지 못해 핵심적인 아키텍처적 한계가 발생한다.
• 편향 항목이 없을 경우 라우팅 결정에서 기인한 대칭성에 기인한 모호성으로 인해 더 깊은 캡슐 네트워크의 학습이 불안정해진다.
• 학습 가능한 편향 항목을 도입함으로써 대칭성과 관련된 모호성을 해결함으로써 더 깊은 캡슐 네트워크의 성공적인 학습이 가능해진다.
• 직접 캡슐 활성화 벡터에 인코딩된 제안된 대안적 편향 방법은 추가적인 학습 가능한 파라미터 없이도 동일한 성능 향상을 달성한다.