[논문 리뷰] Routing Networks and the Challenges of Modular and Compositional Computation

Clemens Rosenbaum, Ignacio Cases외 2명|arXiv (Cornell University)|2019. 04. 29.

Multimodal Machine Learning Applications참고 문헌 77인용 수 39

한 줄 요약

이 논문은 라우팅 네트워크를 분석하고, 모듈식이며 구성 가능 학습 프레이워크에 초점을 맞추며, 모듈과 구성 전략을 함께 학습할 때 발생하는 학습 문제에 주목한다.

ABSTRACT

Compositionality is a key strategy for addressing combinatorial complexity and the curse of dimensionality. Recent work has shown that compositional solutions can be learned and offer substantial gains across a variety of domains, including multi-task learning, language modeling, visual question answering, machine comprehension, and others. However, such models present unique challenges during training when both the module parameters and their composition must be learned jointly. In this paper, we identify several of these issues and analyze their underlying causes. Our discussion focuses on routing networks, a general approach to this problem, and examines empirically the interplay of these challenges and a variety of design decisions. In particular, we consider the effect of how the algorithm decides on module composition, how the algorithm updates the modules, and if the algorithm uses regularization.

연구 동기 및 목표

• 모듈식 및 구성 가능 계산을 조합 복잡성과 차원 문제의 해법으로 동기를 부여한다.
• 라우팅 네트워크에 고유한 주요 학습 문제를 식별하고 설명한다.
• 모듈 구성, 모듈 업데이트, 정규화가 학습에 미치는 영향을 분석한다.
• 훈련 전략과 아키텍처를 포함한 라우팅 설계 선택에 대한 경험적 통찰을 제공한다.

제안 방법

• 모듈과 그 구성 전략을 함께 최적화하는 일반적 패러다임으로서 라우팅 네트워크를 설명한다.
• 강화 학습 및 재매개변수화 접근법에 초점을 맞춘 라우팅 학습 전략을 검토한다.
• 최적화 방법 및 라우터 아키텍처와 같은 설계 결정 분석.
• 다른 선택이 훈련 안정성, 붕괴 및 과적합에 미치는 영향을 경험적으로 비교한다.
• 통일된 형식적 프레임워크의 부재를 논의하고 라우팅을 coagent 및 Meta-MDP 형식론(formalisms)과 관련지어 설명한다.

실험 결과

연구 질문

• RQ1 모듈식 구성 요소와 그 라우팅 전략을 함께 학습할 때 발생하는 핵심 학습 문제는 무엇인가?
• RQ2 학습 안정성, 모듈 붕괴, 과적합과 같은 이슈가 라우팅 네트워크에서 어떻게 나타나는가?
• RQ3 라우팅 학습 및 아키텍처의 어떤 설계 선택이 이러한 문제에 영향을 미치는가?
• RQ4 강화 학습과 재매개변수화가 라우팅 결정에 대한 원칙적 학습 전략을 제공할 수 있는가?
• RQ5 모듈식 및 구성 학습을 보다 잘 형식화할 수 있는 이론적 프레임워크는 무엇인가?

주요 결과

• 라우팅 네트워크는 모듈과 라우팅 정책의 동시 업데이트로 인한 비정상성(non-stationarity)을 겪는다.
• 모듈 붕괴는 라우터가 일부 모듈을 과도하게 사용할 때 발생하여 다양성과 성능을 저해한다.
• 과적합은 라우터가 매우 지역적이고 특화된 솔루션을 만들 수 있는 능력에 의해 악화될 수 있다.
• 모듈과 라우터를 함께 학습하기 위한 통일된 형식적 프레임워크의 부재가 수렴 보장을 복잡하게 한다.
• 정규화, 커리큘럼 전략, 메타 정보 기반 라우팅은 일부 불안정성과 붕괴를 완화할 수 있다.
• 경험적 분석은 라우팅 결정에서 탐색, 전이, 간섭 사이의 트레이드-오프를 강조한다.