[논문 리뷰] Deciding How to Decide: Dynamic Routing in Artificial Neural Networks

Mason McGill, Pietro Perona|arXiv (Cornell University)|2017. 03. 17.

Neural Networks and Applications참고 문헌 25인용 수 51

한 줄 요약

논문은 동적 라우팅이 가능한 캐스케이드형 평가를 갖춘 네트워크를 위한 세 가지 학습 전략을 제시하고, 입력이 전문화된 경로로 라우팅될 수 있음을 보여주며, 동적 라우팅이 고정 컴퓨트 예산 하에서 정적으로 라우팅된 네트워크보다 우수할 수 있음을 시사한다.

ABSTRACT

We propose and systematically evaluate three strategies for training dynamically-routed artificial neural networks: graphs of learned transformations through which different input signals may take different paths. Though some approaches have advantages over others, the resulting networks are often qualitatively similar. We find that, in dynamically-routed networks trained to classify images, layers and branches become specialized to process distinct categories of images. Additionally, given a fixed computational budget, dynamically-routed networks tend to perform better than comparable statically-routed networks.

연구 동기 및 목표

• 일부 입력에는 의사결정이 더 쉽고, 다른 입력에는 더 어려운 동적 라우팅을 동기부여하며, 인간의 판단 및 기존의 캐스케이드형 접근법에서 영감을 얻음.
• 콘텐츠에 따라 입력을 라우팅하도록 분기점에 여러 싱크를 가지는 네트워크에 대해 세 가지 학습 전략을 개발하고 테스트한다.
• 고정된 계산 예산 하에서 정확도와 효율성 간의 균형을 정량화한다.
• 동적 라우팅 네트워크와 호환되는 정규화 및 최적화 기법을 평가한다.

제안 방법

• 각 시점에서의 추론 라우팅 정책을 학습된 점수 벡터의 argmax로 정의하여 다중 싱크 경로를 가능하게 한다.
• 글로벌 디스크립터에 의존하는 다중스케일(피라미드형) CNN 아키텍처를 제안한다.
• 오류와 계산을 결합한 추론 비용을 형식화하여, c_inf = c_err + c_cpt로 정의한다.
• 세 가지 학습 전략을 도입한다: Actor Learning, Pragmatic Critic Learning, and Optimistic Critic Learning.
• 라우팅 결정에 의해 활성화되는 서브네트워크를 정규화하여 자주 사용되는 경로와 드물게 사용되는 경로의 균형을 맞춘다.
• 다양한 처리량 하에서 학습을 안정시키기 위해 레이어별로 학습률을 조정한다.
• k_cpt를 라우팅 정책 입력에 포함시켜 계산 비용 변화에 맞춘 동적 적응을 허용한다.

실험 결과

연구 질문

• RQ1 학습된 라우팅 정책이 있는 동적 라우팅 네트워크가 제약된 계산 하에서 정적으로 라우팅된 네트워크보다 정확도를 향상시키는가?
• RQ2 다른 학습 전략들(액터 방식 대 크리틱 방식)이 동적 라우팅의 학습 안정성 및 성능에 어떻게 영향을 미치는가?
• RQ3 동적 라우팅 구조를 가장 잘 지원하는 정규화 및 최적화 기법은 무엇인가?
• RQ4 동적 라우팅이 브랜치가 서로 다른 입력 범주에 특화된 전문 하위 모델을 만들어낼 수 있는가?
• RQ5 작업 난이도 분포가 동적 라우팅의 이점에 어떤 영향을 미치는가?

주요 결과

• 고정된 계산 예산에서 아키텍처에 일치하는 정적 라우팅 기초선보다 동적으로 라우팅된 네트워크가 성능을 더 잘 내는 경향이 있다.
• 액터 기반 라우팅 전략은 일반적으로 비슷한 정적 라우팅 네트워크보다 최고 정확도가 더 높다.
• 라우팅 경로가 특화된다: 가지들이 서로 다른 이미지 범주를 처리하는 경향이 있으며, 초기 계층은 더 쉬운 판단을, 나중 브랜치는 더 어려운 판단을 처리한다.
• 다양한 아키텍처와 데이터세트에서 동적 라우팅이 이점이 있으며, 모델 용량이 커져도 이점이 지속된다.
• Optimistic critic 변형은 성능이 덜 안정적이고, pragmatic/actor 접근은 훈련 복잡도와 메모리 측면에서 우수한 트레이드오프를 제공한다.
• 처리량 변화를 고려해 학습률을 조정하면 고정밀도 상황에서 성능이 향상된다.