[논문 리뷰] Fast Dynamic Routing Based on Weighted Kernel Density Estimation

Suofei Zhang, Wei Zhao외 2명|arXiv (Cornell University)|2018. 05. 28.

Advanced Neural Network Applications참고 문헌 16인용 수 9

한 줄 요약

이 논문은 계산 비용을 줄이기 위해 가중치가 부여된 커널 밀도 추정(KDE)를 사용하는 두 가지 빠른 동적 라우팅 방법을 제안한다. 라우팅을 최적화된 커널 함수와 거리 측도를 사용한 KDE 기반의 군집화 문제로 재구성함으로써, 정확도 저하가 거의 없는 ~40% 빠른 추론을 달성하여 하이브리드 CNN-캡슐 아키텍처에서 고해상도 이미지 처리를 효율적으로 가능하게 한다.

ABSTRACT

Capsules as well as dynamic routing between them are most recently proposed structures for deep neural networks. A capsule groups data into vectors or matrices as poses rather than conventional scalars to represent specific properties of target instance. Besides of pose, a capsule should be attached with a probability (often denoted as activation) for its presence. The dynamic routing helps capsules achieve more generalization capacity with many fewer model parameters. However, the bottleneck that prevents widespread applications of capsule is the expense of computation during routing. To address this problem, we generalize existing routing methods within the framework of weighted kernel density estimation, and propose two fast routing methods with different optimization strategies. Our methods prompt the time efficiency of routing by nearly 40\% with negligible performance degradation. By stacking a hybrid of convolutional layers and capsule layers, we construct a network architecture to handle inputs at a resolution of $64 imes{64}$ pixels. The proposed models achieve a parallel performance with other leading methods in multiple benchmarks.

연구 동기 및 목표

• 대규모 비전 작업에서의 활용을 제한하는 캡슐 네트워크의 동적 라우팅에 따른 높은 계산 비용을 해결한다.
• 라우팅을 비모수적 군집화 문제로 재고함으로써 모델 성능을 훼손하지 않고 추론 효율성을 향상시킨다.
• 백프로파게이션과 호환되며, 합성곱층과 캡슐층을 조합한 하이브리드 아키텍처에 적합한 단순화된 라우팅 방법을 개발한다.
• 라우팅 복잡도를 감소시켜 고해상도 이미지(예: 64×64 픽셀)에 대한 캡슐 네트워크의 실용적 구현을 가능하게 한다.

제안 방법

• 캡슐 활성화와 포즈를 D차원 공간 내 데이터 포인트로 모델링함으로써 동적 라우팅을 가중치가 부여된 커널 밀도 추정(KDE) 문제로 재구성한다.
• 두 가지 라우팅 변종인 FRMS(Fast Routing via Mean Shift)와 FREM(Fast Routing via EM)를 제안하며, 모두 KDE를 사용해 군집 밀도를 추정한다.
• 효율성과 안정성을 향상시키기 위해 코사인 유사도 기반의 거리 측도를 사용하는 Epanechnikov 및 가우시안 커널 함수를 적용한다.
• 어텐션 유사 라우팅 가중치를 활용하는 소프트맥스 기반의 라우팅 업데이트 규칙을 도입하여 반복적 일치 메커니즘을 단일 최적화 단계로 대체한다.
• 종단 간 학습을 위한 합성곱층과 캡슐층을 조합한 하이브리드 네트워크 아키텍처에 제안된 라우팅 방법을 통합한다.
• 반복적 라우팅-에이기먼트를 KDE 기반의 군집화 프레임워크로 대체함으로써 라우팅 프로세스를 최적화하고, 표현 능력을 유지하면서 계산량을 감소시킨다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크의 동적 라우팅을 커널 밀도 추정을 활용한 비모수적 군집화 문제로 재구성할 수 있는가?
• RQ2 커널 밀도 추정은 성능을 유지하면서도 캡슐 라우팅의 계산 비용을 어떻게 줄일 수 있는가?
• RQ3 다양한 커널 함수와 거리 측도는 라우팅 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 단순화된 라우팅 방법은 고해상도 이미지 인식을 위한 하이브리드 CNN-캡슐 네트워크에 효과적으로 통합될 수 있는가?
• RQ5 모델 일반화 능력에 상당한 악영향을 주지 않으면서 라우팅 효율성을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 FRMS 및 FREM 라우팅 방법은 표준 동적 라우팅 대비 라우팅 계산 시간을 거의 40% 감소시키며, 성능 저하가 거의 없다.
• KDE 기반 라우팅 프레임워크는 하이브리드 CNN-캡슐 아키텍처를 사용해 64×64 픽셀 이미지에서 효율적인 추론을 가능하게 하며, 최신 기술 수준의 성능을 달성한다.
• 코사인 유사도 기반 거리 측도를 사용하는 Epanechnikov 커널은 라우팅-에이기먼트와 유사한 라우팅 변종을 생성하여 이론적 일관성을 입증한다.
• EM 라우팅의 단순화된 버전인 FREM 방법은 EM 라우팅과 유사한 성능을 보이며, 대칭 커널과 단순화된 사전 확률이 효율적 라우팅에 유망함을 시사한다.
• 코사인 유사도를 사용하는 변종의 수렴에 대한 이론적 우려가 있었지만, 실증 결과에서는 합성곱 특징 추출과 조합했을 때 안정적인 학습이 가능함을 확인했다.
• 하이브리드 아키텍처는 강력한 일반화 능력과 확장성을 보이며, 빠른 라우팅을 갖춘 캡슐 네트워크가 대규모 비전 작업에 실용적으로 적용될 수 있음을 시사한다.