[논문 리뷰] Fast Inference in Capsule Networks Using Accumulated Routing Coefficients

Zhao Zhen, Ashley Kleinhans외 3명|arXiv (Cornell University)|2019. 04. 15.

Caching and Content Delivery참고 문헌 6인용 수 9

한 줄 요약

이 논문은 훈련 데이터에서 사전 계산하여 저장한 '마스터' 라우팅 계수를 사용해 캡슐 네트워크의 추론 속도를 빠르게 하는 방법을 제안한다. 반복적인 동적 라우팅을 단일 행렬 곱셈으로 대체함으로써 추론 시간을 크게 단축시키며, MNIST 변형에서는 정확도가 0.5% 미만으로 떨어지고, CIFAR-10에서는 약 5% 떨어지며 원본 모델의 대부분의 성능를 유지하면서 실용적인 구현을 가능하게 한다.

ABSTRACT

We present a method for fast inference in Capsule Networks (CapsNets) by taking advantage of a key insight regarding the routing coefficients that link capsules between adjacent network layers. Since the routing coefficients are responsible for assigning object parts to wholes, and an object whole generally contains similar intra-class and dissimilar inter-class parts, the routing coefficients tend to form a unique signature for each object class. For fast inference, a network is first trained in the usual manner using examples from the training dataset. Afterward, the routing coefficients associated with the training examples are accumulated offline and used to create a set of "master" routing coefficients. During inference, these master routing coefficients are used in place of the dynamically calculated routing coefficients. Our method effectively replaces the for-loop iterations in the dynamic routing procedure with a single matrix multiply operation, providing a significant boost in inference speed. Compared with the dynamic routing procedure, fast inference decreases the test accuracy for the MNIST, Background MNIST, Fashion MNIST, and Rotated MNIST datasets by less than 0.5% and by approximately 5% for CIFAR10.

연구 동기 및 목표

• 반복적인 동적 라우팅으로 인해 느린 추론 속도가 발생하는 캡슐 네트워크의 문제를 해결하기 위해.
• 훈련 데이터에서 유도된 라우팅 계수를 하나의 재사용 가능한 집합으로 집계할 수 있는지 탐색하기 위해.
• 동적 라우팅 대비 추론 시간을 극적으로 단축시키면서도 높은 테스트 정확도를 유지하기 위해.
• 정확도 손실가 최소한으로 이루어지는 빠른 추론을 통해 실세계 응용에 캡슐 네트워크(CapsNets)의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 사전 처리 단계 동안 모든 훈련 예제에서 라우팅 계수를 누적하여 하나의 '마스터' 라우팅 계수 행렬을 형성한다.
• 추론 시 반복적인 동적 라우팅을 다시 계산하는 대신 마스터 라우팅 계수를 사용한다.
• 동적 라우팅의 r회 반복 루프를 단일 행렬 곱셈 연산으로 대체하여 추론 시 완전한 병렬 처리를 가능하게 한다.
• 표준 동적 라우팅을 사용해 캡슐 네트워크를 정상적으로 훈련한 후, 최종 훈련 단계에서 라우팅 계수를 추출하고 저장한다.
• 모든 테스트 입력에 마스터 라우팅 계수를 적용하여 개별 샘플의 라우팅 계산이 필요 없도록 한다.
• 비교를 위해 동적 라우팅과 빠른 추론 모두에서 최대-최소 또는 소프트맥스 라우팅 전략을 사용한다.

실험 결과

연구 질문

• RQ1 훈련 데이터에서 유도된 라우팅 계수를 하나의 마스터 행렬로 집계할 수 있으며, 이는 테스트 이미지에 대해 잘 일반화되는가?
• RQ2 반복적인 동적 라우팅을 사전 계산된 마스터 행렬로 대체할 경우 추론 속도와 정확도에 어떤 영향을 미치는가?
• RQ3 라우팅 계수의 동반체 내부 및 상호 클래스 간 상관관계는 마스터 라우팅 방법의 성능에 어떤 영향을 미치는가?
• RQ4 미래의 연구에서 마스터 라우팅 계수를 추론뿐만 아니라 훈련 속도 향상에도 활용할 수 있는가?

주요 결과

• 빠른 추론 방법은 동적 라우팅 대비 MNIST, 배경 MNIST, 패션 MNIST, 회전된 MNIST에서 테스트 정확도가 0.5% 이내로 떨어지며, 성능 손실가 매우 작다.
• CIFAR-10에서는 정확도가 약 5% 떨어지며, 더 복잡한 데이터셋에서 성능 격차가 더 크게 나타남을 시사한다.
• 마스터 라우팅 계수는 클래스 내에서 높은 상관관계를 보이지만, 클래스 간에는 특히 MNIST와 같은 단순한 데이터셋에서는 덜 상관관계를 보인다.
• 이 방법은 동적 라우팅의 r회 반복을 단일 행렬 곱셈으로 대체하여 완전한 병렬 처리를 가능하게 하며, 빠른 속도 향상을 이룬다.
• CIFAR-10에서의 성능 격차는 객체 클래스 간 예측 벡터가 충분히 구별되지 않아 라우팅 계수 집계가 덜 신뢰성 있게 이뤄지기 때문으로 분석된다.
• 클래스 내 유사도 기반으로 이상치 라우팅 계수 행렬을 걸러내는 것은 복잡한 데이터셋에서 성능 향상에 기여할 수 있으며, 향후 개선 방향으로 제안된다.