[논문 리뷰] Modular Networks: Learning to Decompose Neural Computation

Louis Kirsch, Julius Kunze외 1명|arXiv (Cornell University)|2018. 11. 13.

Explainable Artificial Intelligence (XAI)인용 수 40

한 줄 요약

이 논문은 일반화된 EM 학습 프레임워크를 사용하여 재사용 가능한 모듈로 신경 계산을 분해하도록 학습하는 모듈형 네트워크를 제시하고, 정규화 없이도 결정적 모듈 선택이 가능하며 언어 모델링과 이미지 분류에서 이점을 보임을 보인다.

ABSTRACT

Scaling model capacity has been vital in the success of deep learning. For a typical network, necessary compute resources and training time grow dramatically with model size. Conditional computation is a promising way to increase the number of parameters with a relatively small increase in resources. We propose a training algorithm that flexibly chooses neural modules based on the data to be processed. Both the decomposition and modules are learned end-to-end. In contrast to existing approaches, training does not rely on regularization to enforce diversity in module use. We apply modular networks both to image recognition and language modeling tasks, where we achieve superior performance compared to several baselines. Introspection reveals that modules specialize in interpretable contexts.

연구 동기 및 목표

• 재사용 가능한 모듈로 계산을 분해하여 확장 가능한 신경망을 동기 부여한다.
• 모듈과 그 분해를 함께 학습하는 확률적이고 엔드투엔드로 학습 가능한 프레임워크를 개발한다.
• 계산량을 줄이고 학습 안정성을 높이기 위해 결정적 모듈 선택을 가능하게 한다.
• 해당 접근법을 언어 모델링과 이미지 분류에서 해석 가능한 모듈 특화와 함께 시연한다.

제안 방법

• 네트워크를 M개의 모듈과 각 층에서 K개의 모듈을 선택하는 컨트롤러의 집합으로 표현한다.
• 모듈 선택 a를 잠재 변수로 모델링하고 가능도에 대한 변분 하한을 최대화한다.
• 부분 E-step(Viterbi 스타일)을 갖는 일반화된 EM을 사용하여 q(a)를 결정적으로 유지한다(q(a)=delta(a,a*)).
• E[log p(y,a|x,θ,φ)]를 통해 θ(모듈 매개변수)와 φ(컨트롤러)의 그래디언트를 계산한다.
• E-step에 대해 두 가지 전략으로 학습한다: 후보 모듈 구성을 S개 샘플링하고 최적의 것을 선택하거나 개선이 없으면 이전의 a*를 유지한다.
• 레이어 간에 결정적이고 공유된 모듈 사용을 지원하여 동적 파라미터 공유와 재사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적 규제 없이도 신경망이 계산을 재사용 가능한 모듈로 분해하는 것을 학습할 수 있는가?
• RQ2 모듈 선택과 모듈 매개변수를 엔드투엔드로 학습하는 것이 언어 모델링과 이미지 분류에서 경쟁력 있는 성능을 낳는가?
• RQ3 모듈형 네트워크가 맥락이나 데이터 하위 집합에 대해 해석 가능한 특화가 나타나는가?
• RQ4 제안된 학습이 안정성과 효율성 면에서 REINFORCE 및 노이즈 상위-k 게이팅과 어떻게 비교되는가?

주요 결과

• 모듈형 네트워크는 기본선 및 RL 기반 방법과 비교해 Penn Treebank에서 경쟁력 있는 perplexity를 달성하며, 학습 시 노이즈가 더 낮다.
• 언어 모델링 모듈은 문법적/의미적 맥락에 특화되어 해석 가능한 사용 패턴을 나타낸다.
• CIFAR-10에서 모듈형 네트워크가 비모듈러 베이스라인에 비해 학습 정확도를 향상시키나 일반화 이점은 컨트롤러 설계에 따라 달라진다.
• 학습 방법은 학습 종료 시점까지 모든 모듈을 사용하는 데 성공하며, 배치 모듈 선택 엔트로피가 높아 다양한 사용을 시사한다.
• REINFORCE 및 노이즈 Top-k과 비교하여 EM 기반 방법이 더 낮은 perplexity와 더 결정적인 모듈 선택을 보인다.
• 이 방법은 다양성에 대한 명시적 규제자를 피하고 부분 EM 업데이트에 의존하여 모듈 붕괴를 방지한다.