[논문 리뷰] Fast and Slow Learning of Recurrent Independent Mechanisms

Kanika Madan, Nan Rosemary Ke외 3명|PolyPublie (École Polytechnique de Montréal)|2021. 05. 18.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 지식을 모듈형으로 분해하고, 모듈 간의 희소한 연결을 통해 지식을 분리하는 반복 독립 기구(RIMs)를 위한 메타학습 프레임워크를 제안한다. 여기서 모듈 파라미터는 빠르게 새로운 작업에 적응하고, 주의 메커니즘은 느리게 변화하는 메타파라미터로 기능한다. 이 방법은 분포 이탈 일반화를 포함한 시각어조화 탐색 작업에서 뛰어난 샘플 효율성, 더 빠른 적응 능력, 향상된 제로샷 및 피지테이닝 전이 성능을 달성한다.

ABSTRACT

Decomposing knowledge into interchangeable pieces promises a generalization advantage when there are changes in distribution. A learning agent interacting with its environment is likely to be faced with situations requiring novel combinations of existing pieces of knowledge. We hypothesize that such a decomposition of knowledge is particularly relevant for being able to generalize in a systematic manner to out-of-distribution changes. To study these ideas, we propose a particular training framework in which we assume that the pieces of knowledge an agent needs and its reward function are stationary and can be re-used across tasks. An attention mechanism dynamically selects which modules can be adapted to the current task, and the parameters of the selected modules are allowed to change quickly as the learner is confronted with variations in what it experiences, while the parameters of the attention mechanisms act as stable, slowly changing, meta-parameters. We focus on pieces of knowledge captured by an ensemble of modules sparsely communicating with each other via a bottleneck of attention. We find that meta-learning the modular aspects of the proposed system greatly helps in achieving faster adaptation in a reinforcement learning setup involving navigation in a partially observed grid world with image-level input. We also find that reversing the role of parameters and meta-parameters does not work nearly as well, suggesting a particular role for fast adaptation of the dynamically selected modules.

연구 동기 및 목표

• 분포 이탈 상황에서 강화학습의 일반화 능력과 샘플 효율성을 향상시키기 위해 지식을 재사용 가능한 모듈형 구성요소로 분해하는 것.
• 빠르게 적응하는 모듈 파라미터와 천천히 적응하는 주의 메커니즘 메타파라미터를 분리함으로써 전이 및 적응 능력 향상 여부를 조사하는 것.
• 메타학습 설정에서 주의 메커니즘과 모듈 파라미터에 대해 별도의 학습률과 역할을 부여하는 것이 필요한지 평가하는 것.
• 커리큘럼 학습 설정에서 다양한 작업 간 제로샷 및 피지테이닝 전이 성능 향상을 입증하는 것.
• 모듈 특화와 주의 기반 희소적 통신이 체계적인 일반화를 가능하게 하는지 검증하는 것.

제안 방법

• 모델은 키-밸류 주의 메커니즘을 통해 경쟁하는 반복 독립 모듈(RIMs)의 앙상블을 사용하여 각 타임스텝에서 활성화되는 모듈를 동적으로 선택한다.
• 모듈 파라미터는 내부 학습 루프에서 빠르게 업데이트되어 현재 작업 요구에 적응하고, 주의 메커니즘 파라미터는 외부 메타학습 루프에서 천천히 업데이트된다.
• 시스템은 두 루프 메타학습 설정을 활용한다: 빠른 모듈 가중치 적응과 느린 주의 파라미터 메타최적화.
• 입력 및 통신 주의 메커니즘은 메타학습을 통해 입력과 은닉 상태에 기반해 관련 모듈을 선택하도록 훈련되어, 희소하고 동적일 수 있는 통신을 가능하게 한다.
• 아키텍처는 공유 인코더를 통해 이미지 입력과 언어 지시어를 처리하며, 주의 게이트된 반복 업데이트에 의해 모듈 동역학이 제어된다.
• 절단 실험은 제안된 설정을 역전된 파라미터 역할, 공유 학습률, 모듈 비활성화와 비교하여 메타학습과 모듈 특화의 기여를 고립한다.

실험 결과

연구 질문

• RQ1 모듈형 아키텍처에서 빠른 학습과 느린 학습 동역학을 분리하면 강화학습에서 샘플 효율성과 분포 이탈 일반화 능력 향상에 기여하는가?
• RQ2 주의 메커니즘이 느리게 변화하는 메타파라미터로 기능하는 것이 효과적인 적응을 위해 필수적인가, 아니면 역할을 뒤바꿀 수 있는가?
• RQ3 공유 학습률을 사용한 엔드 투 엔드 훈련과 비교해 모듈 구성요소에 대한 메타학습은 어떻게 다른가?
• RQ4 동적으로 선택된 모듈들이 서로 다른, 작업에 관련된 역할을 학습할 수 있는가? 이는 체계적인 일반화를 지원하는가?
• RQ5 모듈 특화가 제로샷 및 피지테이닝 전이 성능 향상에 얼마나 기여하는가?

주요 결과

• 빠른 모듈 적응과 느린 주의 메타학습을 통한 제안된 메타학습 설정은 샘플 효율성을 크게 향상시켜, 탐색 작업에서 더 빠른 수렴과 높은 평균 수익을 달성한다.
• 파라미터와 메타파라미터의 역할을 뒤바꿔서 주의 파라미터를 빠르게, 모듈 파라미터를 천천히 업데이트하는 것은 성능이 크게 악화되어, 주의 메커니즘이 안정적인 메타파라미터로 기능해야 한다는 것을 시사한다.
• 이중 루프 메타학습 설정 없이 주의 파라미터의 학습률을 낮추는 것은 학습 향상에 실패하며, 단순히 느린 가중치 업데이트만으로는 충분하지 않다는 것을 보여주며, 적절한 메타최적화가 필수적임을 확인한다.
• 절단 실험 결과, 활성화된 모듈들은 특정하고 중복되지 않는 역할을 수행한다: 승자 모듈을 비활성화하면 에피소드 길이가 192 프레임(3개 활성)에서 2179 프레임(1개 활성)으로 급격히 증가한다.
• 모델은 새로운 작업과 분포에 더 잘 일반화되며, 커리큘럼 학습 설정에서 강력한 제로샷 및 피지테이닝 전이 성능를 보여준다.
• 시각화 결과 특정 모듈, 예를 들어 모듈 5가 목표 근처에서 일관되게 활성화되는 것으로 나타나, 상태 공간 내에서 학습된 작업 특화된 역할을 수행하고 있음을 보여준다.