[論文レビュー] Fast and Slow Learning of Recurrent Independent Mechanisms

Kanika Madan, Nan Rosemary Ke+3 more|PolyPublie (École Polytechnique de Montréal)|May 18, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、知識をモジュラーで疎結合なコンポONENTに分解する再帰的独立機構（RIMs）のメタラーニングフレームワークを提案する。ここでモジュールパラメータは新しいタスクに素早く適応するが、注目メカニズムはゆっくり変化するメタパラメータとして機能する。この手法は、分布外一般化を伴う視覚言語ナビゲーションタスクにおいて、優れたサンプル効率、より速い適応、およびゼロショットとファインチューニングされた転移性能を達成する。

ABSTRACT

Decomposing knowledge into interchangeable pieces promises a generalization advantage when there are changes in distribution. A learning agent interacting with its environment is likely to be faced with situations requiring novel combinations of existing pieces of knowledge. We hypothesize that such a decomposition of knowledge is particularly relevant for being able to generalize in a systematic manner to out-of-distribution changes. To study these ideas, we propose a particular training framework in which we assume that the pieces of knowledge an agent needs and its reward function are stationary and can be re-used across tasks. An attention mechanism dynamically selects which modules can be adapted to the current task, and the parameters of the selected modules are allowed to change quickly as the learner is confronted with variations in what it experiences, while the parameters of the attention mechanisms act as stable, slowly changing, meta-parameters. We focus on pieces of knowledge captured by an ensemble of modules sparsely communicating with each other via a bottleneck of attention. We find that meta-learning the modular aspects of the proposed system greatly helps in achieving faster adaptation in a reinforcement learning setup involving navigation in a partially observed grid world with image-level input. We also find that reversing the role of parameters and meta-parameters does not work nearly as well, suggesting a particular role for fast adaptation of the dynamically selected modules.

研究の動機と目的

• 分布シフト下での強化学習における一般化とサンプル効率を向上させるために、再利用可能なモジュラーコンポONENTに知識を分解すること。
• 速く適応するモジュールパラメータと、ゆっくり適応する注目メカニズムのメタパラメータを分離することで、転移性と適応性が向上するかどうかを調査すること。
• メタラーニング設定において、注目とモジュールパラメータに異なる学習率と役割を割り当てる必要性を評価すること。
• カリキュラム学習設定において、ゼロショットおよびファインチューニングされた転移性能の向上を実証すること。
• モジュラー特化と注目による疎結合通信が、体系的な一般化を可能にすることを検証すること。

提案手法

• モデルは、キーバリュー注目メカニズムを介して競合する再帰的独立モジュール（RIMs）のアンサンブルを使用し、各タイムステップでアクティブなモジュールを動的に選択する。
• モジュールパラメータは、現在のタスク要件に適応するために、内側の学習ループで素早く更新されるが、注目メカニズムのパラメータは外側のメタラーニングループでゆっくりと更新される。
• システムは二重ループメタラーニング設定を採用しており、モジュール重みの高速適応と注目パラメータの遅いメタ最適化が行われる。
• 入力と通信の注目メカニズムは、メタラーニングによって訓練され、入力と隠れ状態に基づいて関連するモジュールを選択する。これにより、疎で動的な通信が可能になる。
• アーキテクチャは、画像入力と言語指示を共有エンコーダーを介して処理し、注目ゲート付き再帰的更新によってモジュールダイナミクスを制御する。
• アブレーションスタディでは、パラメータの役割を逆転させた設定、共有学習率、モジュールの無効化と比較することで、メタラーニングとモジュラー特化の寄与を分離する。

実験結果

リサーチクエスチョン

• RQ1 モジュラー構造における速い学習と遅い学習のダイナミクスを分離することで、強化学習におけるサンプル効率と分布外一般化が向上するか？
• RQ2 注目メカニズムがゆっくり変化するメタパラメータとして機能することが、効果的な適応に不可欠であるか、それとも逆転可能か？
• RQ3 共有学習率を用いたエンドツーエンド学習と比較して、モジュラーコンポONENTにおけるメタラーニングはどのように異なるか？
• RQ4 動的に選択されたモジュールは、それぞれ異なるタスク固有の役割を学習し、体系的な一般化を支援できるか？
• RQ5 モジュラー特化は、ゼロショットおよびファインチューニングされた転移性能をどの程度向上させるか？

主な発見

• 速いモジュール適応と遅い注目メタラーニングを組み合わせた提案されたメタラーニング設定は、サンプル効率を顕著に向上させ、ナビゲーションタスクにおける収束が速く、平均報酬も高くなる。
• パラメータとメタパラメータの役割を逆転させた（注目パラメータを速く、モジュールパラメータを遅くした）設定では、著しく劣った性能が得られ、注目メカニズムが安定したメタパラメータとして機能することが不可欠であることを示している。
• 二重ループメタラーニング設定を採用しない状況で注目パラメータの学習率を低下させても学習が改善せず、単に遅い重み更新だけでは不十分であることが示された。
• アブレーション実験により、アクティブなモジュールは特定で非冗長な役割を果たしていることが確認された：勝者モジュールを無効化すると、エピソード長は192フレーム（3モジュール有効）から2179フレーム（1モジュール有効）に急増する。
• モデルは未観測のタスクや分布に対してもより良い一般化を示し、カリキュラム学習設定において強力なゼロショットおよびファインチューニングされた転移性能を示した。
• 可視化結果から、特定のモジュール（例：モジュール5）がゴール付近で一貫して活性化されていることが明らかになり、状態空間における学習済みのタスク固有の役割が確認された。