[논문 리뷰] Adaptive Routing Between Capsules

Qiang Ren, Shaohua Shang외 1명|arXiv (Cornell University)|2019. 11. 19.

Advanced Neural Network Applications참고 문헌 17인용 수 4

한 줄 요약

이 논문은 기울기 소실 문제를 방지하기 위해 결합 계수를 제거함으로써 깊은 스택 구조에서 안정적인 훈련을 가능하게 하는 캡슐 네트워크를 위한 적응형 라우팅 알고리즘을 제안한다. 반복적인 라우팅을 대체하여 학습 가능한 하이퍼파rameter λ를 도입함으로써 계산량을 줄이고, MNIST, 패션-MNIST, SVHN, CIFAR-10에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Capsule network is the most recent exciting advancement in the deep learning field and represents positional information by stacking features into vectors. The dynamic routing algorithm is used in the capsule network, however, there are some disadvantages such as the inability to stack multiple layers and a large amount of computation. In this paper, we propose an adaptive routing algorithm that can solve the problems mentioned above. First, the low-layer capsules adaptively adjust their direction and length in the routing algorithm and removing the influence of the coupling coefficient on the gradient propagation, so that the network can work when stacked in multiple layers. Then, the iterative process of routing is simplified to reduce the amount of computation and we introduce the gradient coefficient $λ$. Further, we tested the performance of our proposed adaptive routing algorithm on CIFAR10, Fashion-MNIST, SVHN and MNIST, while achieving better results than the dynamic routing algorithm.

연구 동기 및 목표

• 다중 레이어 스택을 적용할 경우 캡슐 네트워크에서 기울기 소실 문제를 해결함으로써 깊은 네트워크 훈련을 가능하게 한다.
• 동적 라우팅의 한계, 특히 기울기 흐름을 억제하는 기울기 계수의 희박성 문제를 극복한다.
• 성능 저하 없이 반복적 라우팅 프로세스를 단순화함으로써 계산 비용을 감소시킨다.
• 기울기 전파를 기울기 계수에서 분리함으로써 더 깊은 캡슐 네트워크의 안정적 훈련을 가능하게 한다.
• 고정된 반복 횟수 대신 라우팅 반복 횟수를 대체하는 학습 가능한 하이퍼파rameter λ를 통해 성능을 최적화한다.

제안 방법

• 동적 라우팅 메커니즘의 기울기 계수 c_ij를 저수준 캡슐 상태에 대한 적응형 업데이트로 대체하여 c_ij가 기울기 흐름에 미치는 영향을 제거한다.
• 각 반복 단계에서 저수준 캡슐 활성화 및 라우팅 벡터만 업데이트하여 이전 레이어로의 기울기 전달을 향상시킨다.
• 라우팅 강도를 제어하는 하이퍼파arameter λ를 도입하여 동적 라우팅에서 고정된 반복 횟수를 대체한다.
• 기울기 계수의 반복적 업데이트를 제거함으로써 라우팅 프로세스를 단순화하고 계산 오버헤드를 감소시킨다.
• λ를 사용하여 기울기 증폭을 조절함으로써 깊은 캡슐 아키텍처를 통해 더 효과적인 역전파를 가능하게 한다.
• 저수준 캡슐이 고수준 캡슐 예측에 적응적으로 정렬되도록 라우팅 프로세스를 설계하여 특징 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 왜 동적 라우팅이 깊은 캡슐 네트워크에서 기울기 소실을 유발하며, 기울기 계수 c_ij는 이 문제에 어떻게 기여하는가?
• RQ2 라우팅 프로세스에서 기울기 계수를 제거함으로써 스택된 캡슐 네트워크의 기울기 소실 문제를 해결할 수 있는가?
• RQ3 제안된 적응형 라우팅 알고리즘이 더 깊은 캡슐 네트워크 아키텍처에서 성능과 안정성을 어떻게 향상시키는가?
• RQ4 정확도 저하 없이 반복적 라우팅 프로세스를 단일 하이퍼파arameter λ로 얼마나 단순화할 수 있는가?
• RQ5 다양한 데이터셋과 네트워크 깊이에서 높은 성능을 달성하기 위한 λ의 최적 값은 무엇인가?

주요 결과

• 적응형 라우팅 알고리즘은 MNIST에서 원래의 동적 라우팅 방법을 능가하는 최신 기술 수준의 성능을 달성한다.
• 패션-MNIST에서는 4개의 캡슐 레이어와 λ = 2를 사용할 때 93.71%의 정확도를 기록하여 동적 라우팅보다 향상된 성능을 보였다.
• CIFAR-10에서는 4개의 레이어와 λ = 3을 사용할 때 78.68%의 정확도를 달성하여 기준 동적 라우팅보다 일관된 향상을 보였다.
• λ를 너무 낮게 설정할 경우(예: 0.0001 이하), 특히 더 깊은 아키텍처에서 기울기 소실로 인해 네트워크가 붕괴된다.
• 성능은 λ에 민감하다: 패션-MNIST에서는 최적 값이 λ = 2 또는 3이며, CIFAR-10에서는 λ = 1 또는 3이 최적이다. 이는 기울기 증폭과 노이즈 사이의 트레이드오���이 있음을 시사한다.
• 적응형 라우팅 방법은 표준 동적 라우팅이 기울기 억제로 인해 불가능한 4개의 캡슐 레이어까지 안정적인 훈련을 가능하게 한다.