[논문 리뷰] ProtoCaps: A Fast and Non-Iterative Capsule Network Routing Method

Miles Everett, Mingjun Zhong외 1명|arXiv (Cornell University)|2023. 07. 19.

Interconnection Networks and SystemsComputer Science인용 수 3

한 줄 요약

ProtoCaps는 프로토타입 소프트 클러스터링 기반의 반복적이지 않고 학습 가능한 라우팅 메커니즘을 제안하여 메모리 사용량과 계산 비용을 크게 줄이고도 높은 성능을 유지한다. Imagewoof와 같은 도전적인 데이터셋에서 최신 기술 수준의 성능을 달성하며, 반복적 방법을 초월한 확장성과 효율성을 입증한다.

ABSTRACT

Capsule Networks have emerged as a powerful class of deep learning architectures, known for robust performance with relatively few parameters compared to Convolutional Neural Networks (CNNs). However, their inherent efficiency is often overshadowed by their slow, iterative routing mechanisms which establish connections between Capsule layers, posing computational challenges resulting in an inability to scale. In this paper, we introduce a novel, non-iterative routing mechanism, inspired by trainable prototype clustering. This innovative approach aims to mitigate computational complexity, while retaining, if not enhancing, performance efficacy. Furthermore, we harness a shared Capsule subspace, negating the need to project each lower-level Capsule to each higher-level Capsule, thereby significantly reducing memory requisites during training. Our approach demonstrates superior results compared to the current best non-iterative Capsule Network and tests on the Imagewoof dataset, which is too computationally demanding to handle efficiently by iterative approaches. Our findings underscore the potential of our proposed methodology in enhancing the operational efficiency and performance of Capsule Networks, paving the way for their application in increasingly complex computational scenarios. Code is available at https://github.com/mileseverett/ProtoCaps.

연구 동기 및 목표

• 반복적 라우팅으로 인한 높은 계산 비용과 메모리 소비 문제를 해결하여 캡슐 네트워크의 대규모 데이터셋에 대한 확장성을 제한하는 문제를 해결한다.
• 학습 복잡도를 줄이면서도 성능을 유지하거나 향상시키는 반복적이지 않은 라우팅 메커니즘을 개발한다.
• 각 캡슐에 대한 투영 요구 사항을 제거하기 위해 공유 캡슐 부분공간을 도입하여 메모리 오버헤드를 감소시킨다.
• Self-Routing Capsule Networks(SRCaps)와 같은 반복적 방법이 계산 요구 사항으로 인해 실패하는 복잡한 ImageNet 크기의 데이터셋인 Imagewoof에서의 방법 검증을 수행한다.
• 더 높은 효율성과 확장성으로 반복적이지 않은 캡슐 네트워크의 새로운 벤치마크를 설정한다.

제안 방법

• 반복적 라우팅을 대체하기 위해 학습 가능한 프로토타입을 사용하여 라우팅 계수를 결정하는 학습 가능한 프로토타입 소프트 클러스터링 메커니즘을 제안한다.
• 모든 하위 수준 캡슐이 동일한 공간으로 투영될 수 있도록 허용하는 공유 캡슐 부분공간을 도입하여 각 캡슐의 투영 오버헤드를 감소시킨다.
• 라우팅 계수를 프로토타입 유사도에서 직접 계산하는 스트레이트스러우트 라우팅 방식을 사용하여 반복적 반복을 피한다.
• 프로토타입 기반 어텐션을 통해 하위 수준 예측과 상위 수준 캡슐 특징 간의 일치를 계산하는 라우팅 함수 f를 활용한다.
• 모든 하위 수준 캡슐에 대해 공유 변환 행렬을 적용하여 파라미터와 메모리 부담을 최소화한다.
• 특히 깊은 아키텍처에서 학습 안정성을 향상시키기 위해 잔차 연결 설계를 활용한다.

실험 결과

연구 질문

• RQ1 반복적이지 않고 학습 가능한 라우팅 메커니즘이 기존의 반복적이지 않은 방법들보다 정확도와 효율성 면에서 뛰어나게 성능을 냈는가?
• RQ2 공유 캡슐 부분공간의 사용이 성능을 훼손하지 않으면서도 메모리 소비를 상당히 감소시키는가?
• RQ3 제안된 방법이 반복적 라우팅에 비해 계산 요구 사항이 높아 계산이 불가능한 대규모 복잡한 데이터셋인 Imagewoof에 효과적으로 확장 가능한가?
• RQ4 ProtoCaps의 성능가 최신 기술 수준의 반복적 및 비반복적 캡슐 네트워크와 다양한 데이터셋에서 어떻게 비교되는가?
• RQ5 잔차 연결과 백본 선택과 같은 아키텍처 구성 요소가 모델의 확장성과 강건성에 어느 정도 기여하는가?

주요 결과

• ProtoCaps는 Imagewoof 데이터셋에서 59.0%의 테스트 정확도를 달성하여 반복적 방법이 계산 제약으로 인해 이 데이터셋에 확장되지 못함에 비해 뚜렷이 뛰어난 성능을 보였다.
• Cifar10에서 Imagewoof로 확장할 때 FLOPs는 2배로 증가하지만, Self-Routing Capsule Networks (SRCaps)는 10배로 증가하여 ProtoCaps가 훨씬 뛰어난 확장성을 보였다.
• 잔차 연결은 Cifar10과 Imagewoof와 같이 복잡한 데이터셋에서 성능 향상을 가장 크게 이끌어냈으며, Imagewoof에서 20.9%의 정확도 향상(38.1%에서 59.0%로)을 기록했다.
• ResNet 백본을 사용할 경우 ConvNet 백본보다 성능 향상이 미미했으며(Imagewoof에서 59.0% 대비 56.4%), 이는 실시간 응용 프로그램에 적합한 더 빠른 대안으로서 ConvNet 백본이 타당하다는 것을 시사한다.
• 2~3개의 캡슐 레이어에서 성능가 포화 상태에 도달하여 깊은 아키텍처에서 더 이상 성능 향상이 없음을 보였으며, 다른 캡슐 네트워크가 깊이에 따라 성능이 저하되는 것과는 대조적이다.
• 제안된 라우팅 메커니즘은 반복적이지 않은 캡슐 네트워크의 새로운 최신 기술 수준의 벤치마크를 설정하였으며, 속도와 메모리 효율성 면에서 기존 방법을 모두 능가한다.