[논문 리뷰] Capsule Networks Need an Improved Routing Algorithm

Inyoung Paik, Tae-Yeong Kwak외 1명|arXiv (Cornell University)|2019. 07. 31.

Advanced Neural Network Applications참고 문헌 21인용 수 18

한 줄 요약

이 논문은 기존 캡슐 네트워크 라우팅 알고리즘들이 반복적으로 적용될수록 의도한 목적을 달성하지 못하고, 링크 강도를 극단적인 값들(0에 가까운 값 또는 1에 가까운 값)으로 과도하게 극화시킨다는 점을 규명한다. 저자들은 실증적으로 이러한 알고리즘이 종종 단순한 균일하거나 무작위 기준선보다 성능이 열 劣하다는 것을 보여주며, 의미 있는 파트-홀 전체 관계를 적절한 불확실성 모델링과 함께 학습시킬 수 있도록 하기 위해 근본적으로 개선된 라우팅 알고리즘이 필요하다고 결론 내린다.

ABSTRACT

In capsule networks, the routing algorithm connects capsules in consecutive layers, enabling the upper-level capsules to learn higher-level concepts by combining the concepts of the lower-level capsules. Capsule networks are known to have a few advantages over conventional neural networks, including robustness to 3D viewpoint changes and generalization capability. However, some studies have reported negative experimental results. Nevertheless, the reason for this phenomenon has not been analyzed yet. We empirically analyzed the effect of five different routing algorithms. The experimental results show that the routing algorithms do not behave as expected and often produce results that are worse than simple baseline algorithms that assign the connection strengths uniformly or randomly. We also show that, in most cases, the routing algorithms do not change the classification result but polarize the link strengths, and the polarization can be extreme when they continue to repeat without stopping. In order to realize the true potential of the capsule network, it is essential to develop an improved routing algorithm.

연구 동기 및 목표

• 고도로 발전된 라우팅 알고리즘을 갖춘 캡슐 네트워크가 이론적 우월성에도 불구하고 실무에서 성능 향상이 자주 이루어지지 않는 이유를 탐구하기 위해.
• 학습 반복 과정에서 다섯 가지 주요 라우팅 알고리즘의 실제 행동을 분석하기 위해.
• 라우팅 알고리즘의 성능 저하의 근본 원인, 특히 링크 강도 극화 현상의 원인을 규명하기 위해.
• 현재 라우팅 방법이 불확실성을 유지하지 못하고 오히려 연결을 극단적인 값들로 이끌고 있음을 보여주기 위해.
• 캡슐 네트워크의 잠재력을 실현하기 위해 수렴 보장과 불확실성 인식이 가능한 새로운 라우팅 알고리즘이 필수적임을 주장하기 위해.

제안 방법

• 저자들은 다섯 가지 라우팅 알고리즘을 구현하고 평가했다: CapsNet (Sabour et al., 2017), EMCaps (Hinton et al., 2018), OptimCaps (Wang and Liu, 2018), GroupCaps (Lenssen et al., 2018), AttnCaps (Zhou et al., 2019).
• 최대 10회까지의 라우팅 반복 수를 다양하게 설정하여 반복 과정에서 링크 강도(c_ij)의 변화를 관찰했다.
• 라우팅 알고리즘의 피드백 메커니즘을 분석하였으며, 특히 협의도 수준(b_ij)이 어떻게 누적되어 c_ij를 1 또는 0 쪽으로 이끄는지를 중심으로 분석하였다.
• 라우팅 알고리즘이 유일한 해(하나의 c_ij = 1, 나머지는 0)로 수렴하는 수학적 조건을 유도하고 분석하였다.
• 반복 과정에서 c_ij 값의 히스토그램 분석을 통해 극화 경향을 시각화하였다.
• 초기 링크 강도 할당 방식의 영향과 협의도 측정 방법(내적, 가우시안, 거리)이 극단적 상태로의 수렴을 어떻게 이끄는지 분석하였다.

실험 결과

연구 질문

• RQ1 왜 캡슐 네트워크의 라우팅 알고리즘이 단순한 기준선과 비교해 성능 향상이 자주 이루어지지 않는가?
• RQ2 반복적인 반복 과정에서 라우팅 알고리즘의 링크 강도 극화 현상이 발생하는 원인은 무엇인가?
• RQ3 라우팅 알고리즘이 하나의 활성 연결만을 가지는 유일한 해로 수렴하는 데 필요한 수학적 조건은 무엇인가?
• RQ4 왜 현재의 라우팅 메커니즘이 파트-홀 전체 관계의 불확실성을 유지하는 데 부적합한가?
• RQ5 라우팅 알고리즘의 피드백 루프 불안정성이 캡슐 네트워크 학습 및 일반화에 미치는 영향은 무엇인가?

주요 결과

• 라우팅 알고리즘은 링크 강도를 일관되게 극화시키며, 반복 횟수가 증가할수록 대부분의 c_ij 값은 0으로 수렴하고 유일한 하나의 c_ij 값만 1로 수렴한다.
• 3회 이상 반복될 경우, 라우팅 알고리즘은 극단적인 극화를 보이며, 90퍼센트 이상의 링크가 0 또는 1로 붕괴된다. 특히 CapsNet과 EMCaps에서 두드러진다.
• 극화 현상은 라우팅 알고리즘의 피드백 루프에 의해 유도되며, 협의도 수준(b_ij)이 누적되어 가장 일치하는 캡슐 쌍에 대해 c_ij 값이 지수적으로 증가하게 된다.
• 수학적 분석 결과, 라우팅 알고리즘의 유일한 안정된 정적 상태는 하나의 주요 연결만 존재하는 유일한 해이며, 이는 파트-홀 계층 학습에 바람직하지 않다.
• 이론적 설계 목표에도 불구하고, 라우팅 알고리즘은 종종 분류 성능 향상에 실패하며, 심지어 단순한 균일하거나 무작위 기준선 연결 전략보다도 열 劣할 수 있다.
• OptimCaps와 AttnCaps와 같은 알고리즘은 CapsNet 및 EMCaps와 유사한 업데이트 규칙을 사용하므로 동일한 유일한 수렴 행동을 보이며 문제를 악화시킨다.