[논문 리뷰] Recurrent Independent Mechanisms

Anirudh Goyal, Alex Lamb외 5명|arXiv (Cornell University)|2019. 09. 24.

Modular Robots and Swarm Intelligence참고 문헌 62인용 수 80

한 줄 요약

우리는 Recurrent Independent Mechanisms (RIMs)를 소개합니다. 이는 다수의 독립적인 메커니즘이 주의(attention)를 통해 희소하게 상호 작용하여 분포 변화 하에서 일반화를 향상시키는 모듈형 순환 아키텍처입니다.

ABSTRACT

Learning modular structures which reflect the dynamics of the environment can lead to better generalization and robustness to changes which only affect a few of the underlying causes. We propose Recurrent Independent Mechanisms (RIMs), a new recurrent architecture in which multiple groups of recurrent cells operate with nearly independent transition dynamics, communicate only sparingly through the bottleneck of attention, and are only updated at time steps where they are most relevant. We show that this leads to specialization amongst the RIMs, which in turn allows for dramatically improved generalization on tasks where some factors of variation differ systematically between training and evaluation.

연구 동기 및 목표

• 환경 다이내믹스를 반영하는 모듈 구조 학습을 자극하여 일반화와 변화에 대한 로버스트함을 향상시키고 일부 원인에만 영향을 미치는 변화에 대응한다.
• RIMs를 제안하는데, 서로 거의 독립적이며 희소하게 소통하고 관련 있을 때만 업데이트하는 순환 아키텍처이다.
• RIMs 간의 전문화가 훈련과 평가 간 변 variation 요인이 다른 작업에서 일반화를 더 잘 수행하도록 함

제안 방법

• 각 메커니즘당 공유 파라미터를 가진 k개의 순환 메커니즘(RIMs)으로 모델을 나눈다.
• 입력 기반의 top-k 주의 over RIMs를 통해 한 타임스텝에 활성화하고 업데이트할 RIM의 부분집합을 선택한다.
• 각 활성 RIM은 자체 독립 전이 다이내믹스(예: GRU/LSTM)를 적용하고 잔여, 희소 커뮤니케이션 주의를 통해 다른 RIM들로부터 읽을 수 있다.
• 입력에서 읽고 RIM 상태에서의 질의와 입력 및 다른 RIM들로부터의 키/값을 통해 희소 RIM 간 커뮤니케이션을 가능하게 하는 키-값 주의 사용.
• 입력이 구조화된 경우(예: 이미지) 공간 위치별로 주의를 계산하여 공간 희소성을 선택적으로 적용한다.
• 입력 및 커뮤니케이션에 대해 다중 헤드 주의를 제공하고, 주의에 관여하는 RIM별 학습 파라미터를 둔다.

실험 결과

연구 질문

• RQ1 그라디언트 기반 모델이 독립적이고 희소하게 상호 작용하는 순환 메커니즘을 발견하고 이를 동적 환경 모델링에 활용할 수 있는가?
• RQ2 훈련과 테스트 사이에 기본 메커니즘의 일부가 바뀌는 경우 RIMs가 일반화를 개선하는가?
• RQ3 희소 활성화와 커뮤니케이션이 분포 변화 및 새로운 객체/혼란 요인에 대한 로버스트니스에 어떤 영향을 미치는가?
• RQ4 RIMs가 강화 학습 및 비전 과제에서 표준 순환 계층의 드롭인 대체로 효과적인가?

주요 결과

• RIMs는 시간 패턴에 대해 전문화되며, 일부 메커니즘이 서로 다른 패턴에서 활성화되고 오랜 비활성화 기간 동안에도 성능을 유지한다.
• 복제(copying) 작업에서 RIMs는 더 긴 시퀀스(테스트 200)로 일반화하는 반면 전통적 모델은 악화되며, 특정 설정에서 LSTM, NTM, RMC를 능가한다.
• 시퀀셜 MNIST에서 RIMs는 LSTM 및 여러 베이스라인보다 해상도 변화(14x14 학습 → 19x19/24x24 테스트)에 더 강건하다.
• 객체 선택 작업에서 새로운 혼란 요인 및 부분 관측성에 대한 로버스트니스를 개선하고 LSTM 및 경쟁 베이스라인을 능가한다.
• PPO 기반 Atari 실험에서 LSTM을 RIMs로 대체하면 게임 전반에서 상당한 성능 향상을 보인다.
• 적용 가능성의 제거에 대한 분석은 입력 주의, 희소 활성화, 및 RIM 간 커뮤니케이션이 성능에 중요한 영향을 미친다는 것을 보여준다.