[논문 리뷰] Learning Hierarchical Information Flow with Recurrent Neural Modules

Danijar Hafner, Alexander Irpan외 2명|arXiv (Cornell University)|2017. 06. 18.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

ThalNet는 신경피질의 해마 경로에 영감을 받은 순환 신경망 아키텍처로, 여러 모듈형 네트워크가 중심적인 경로 전환 센터를 통해 특징을 공유하여 계층적이고 동적인 정보 흐름을 학습한다. 이는 순차적 작업에서 표준 RNN보다 뛰어난 성능을 보이며, 스킵 및 피드백 연결과 같은 연결 패턴을 자동으로 발견한다.

ABSTRACT

We propose ThalNet, a deep learning model inspired by neocortical communication via the thalamus. Our model consists of recurrent neural modules that send features through a routing center, endowing the modules with the flexibility to share features over multiple time steps. We show that our model learns to route information hierarchically, processing input data by a chain of modules. We observe common architectures, such as feed forward neural networks and skip connections, emerging as special cases of our architecture, while novel connectivity patterns are learned for the text8 compression task. Our model outperforms standard recurrent neural networks on several sequential benchmarks.

연구 동기 및 목표

• 고정된 아키텍처를 사전 정의하지 않고 신경 모듈 간의 융통성 있고 작업 적응형 연결을 학습하는 딥러닝 모델을 개발하는 것.
• 순환 모듈 간의 특징 공유를 위한 중심적 경로 전환 센터를 도입하여 대뇌피질의 해마를 통해 통신를 모방하는 것.
• 순차적 모델링에서 피드포워드 및 피드백 경로를 모두 지원하는 동적이고 계층적인 정보 흐름을 가능하게 하는 것.
• 엔드 투 엔드 훈련을 통해 새로운, 작업에 특화된 연결 패턴(예: 스킵 및 피드백 연결)을 발견하는 것.
• 공유 중심 벡터를 통한 다중 시간 단계에 걸친 모듈 간 특징 공유를 허용함으로써 순차 벤치마크 성능을 향상시키는 것.

제안 방법

• ThalNet는 각각 문맥 입력 $ c^i_t $ 와 작업 입력 $ x^i_t $ 를 기반으로 특징 $ \phi^i_t $ 를 생성하는 일련의 순환 모듈 $ f^i $ 를 사용한다.
• 모든 모듈의 특징은 일반적으로 연결을 통해 이루어지는 $ \Phi_t = m(\phi^1_t, \dots, \phi^I_t) $ 를 통해 공유 중심 벡터에 통합된다.
• 각 모듈은 다음 시간 단계에서 중심 벡터를 읽는 미분 가능한 독서 메커니즘 $ c^i_{t+1} = r^i(\Phi_t, \phi^i_t) $ 를 사용하여 특징 재사용을 선택적으로 가능하게 한다.
• 독서 메커니즘은 중심 벡터와 모듈 자체의 특징에 따라 조정되어 모듈성을 유지하면서도 복잡한 경로 전환을 가능하게 한다.
• 모델는 경로 전환 센터를 통해 역전파되는 기울기를 통해 엔드 투 엔드로 훈련되며, 이는 동적 연결 학습을 가능하게 한다.
• 이 아키텍처는 병렬 모듈 계산과 편향된 시간 처리를 지원하여 계층적이고 순환적인 정보 흐름을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 정의된 연결성이 없는 상태에서 딥러닝 모델이 신경 모듈 간에 계층적 정보 흐름을 학습할 수 있는가?
• RQ2 해마 유사 경로 전환 센터는 스킵 및 피드백 연결과 같은 유용한 연결 패턴을 발견하는 데 기여하는가?
• RQ3 모듈 간 특징을 동적으로 라우팅함으로써 표준 순환 네트워크보다 순차 작업에서 성능을 뛰어나게 할 수 있는가?
• RQ4 학습된 연결 패턴은 언어 모델링이나 Permuted MNIST와 같은 다양한 작업에 어떻게 적응하는가?
• RQ5 학습된 라우팅을 통해 깊이와 넓이의 상호 보완적 요구 사항을 충족하는 작업으로 일반화할 수 있는가?

주요 결과

• ThalNet는 Permuted MNIST 및 CIFAR-10를 포함한 순차 벤치마크에서 표준 다층 순환 네트워크를 능가한다.
• 모델는 계층적으로 정보를 라우팅하는 방식으로 학습하여 입력 데이터를 단계적으로 처리하는 모듈 체인을 형성한다.
• ResNet과 DenseNet의 스킵 연결과 유사한 연결 패턴이 학습된 연결 패턴의 일부로 자연스럽게 나타난다.
• 피드백 연결도 발견되었으며, 이는 딥러닝에서 성능 향상을 도와주고 생물학적으로 타당한 것으로 알려져 있다.
• text8 언어 모델링 작업에서 모델는 표준 아키텍처를 초월한 새로운, 작업에 특화된 연결 구조를 학습한다.
• 라우팅 센터는 시간에 따라 복잡한 계산 경로를 지원하는 모듈 간의 동적이고 선택적인 특징 재사용을 가능하게 한다.