[論文レビュー] Recurrent Independent Mechanisms

Anirudh Goyal, Alex Lamb+5 more|arXiv (Cornell University)|Sep 24, 2019

Modular Robots and Swarm Intelligence参考文献 62被引用数 80

ひとこと要約

Recurrent Independent Mechanisms (RIMs) を導入します。複数の独立したメカニズムが注意機構を介して疎に相互作用するモジュラー再帰アーキテクチャで、分布シフト下の一般化を改善します。

ABSTRACT

Learning modular structures which reflect the dynamics of the environment can lead to better generalization and robustness to changes which only affect a few of the underlying causes. We propose Recurrent Independent Mechanisms (RIMs), a new recurrent architecture in which multiple groups of recurrent cells operate with nearly independent transition dynamics, communicate only sparingly through the bottleneck of attention, and are only updated at time steps where they are most relevant. We show that this leads to specialization amongst the RIMs, which in turn allows for dramatically improved generalization on tasks where some factors of variation differ systematically between training and evaluation.

研究の動機と目的

• 環境のダイナミクスを反映するモジュラー構造の学習を動機づけ、原因の一部だけが変化する場合の一般化と頑健性を向上させる。
• 近く独立したメカニズムが疎に通信し、関連がある時のみ更新される再帰アーキテクチャであるRIMsを提案する。
• トレーニングと評価間で変動要因が異なるタスクにおいて、RIM間の専門化が一般化を向上させることを示す。

提案手法

• モデルを k 個の再帰メカニズム（RIMs）に分割し、各メカニズムは共有パラメータを持つ。
• 入力主導のトップ-k 注意機構を介して、時間ステップごとにRIMの一部のみを活性化・更新する。
• 活性化された各RIMは独立した遷移ダイナミクス（例：GRU/LSTM）を適用し、残差的で疎な通信注意を介して他のRIMから読み取ることができる。
• 入力から読むためのキー-バリュー注意機構を使用し、RIM状態からのクエリと入力や他のRIMからのキー/バリューを用いた、RIM間の疎な通信を可能にする。
• 入力が構造化されている場合（例：画像）には、空間的なスパース性を適用して空間位置ごとに注意を計算することもできる。
• 入力と通信のためのマルチヘッド注意を提供し、注意を支配する各RIM固有の学習パラメータを持つ。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのモデルは、動的環境をモデル化する独立した、疎に相互作用する再帰メカニズムを発見・活用できるか。
• RQ2 RIMsは、トレーニングとテスト間で基盤となる一部のメカニズムが変化する場合に一般化を改善するか。
• RQ3 疎な活性化と通信は、分布シフトや新規オブジェクト/妨害要因に対する頑健性にどのように影響するか。
• RQ4 RIMsは強化学習やビジョンタスクで標準の再帰層の代替として効果的か。

主な発見

Model	k_T	k_A	h_size	CE_Train	CE_Test
RIMs	6	4	600	0.00	0.00
RIMs	6	3	600	0.00	0.00
RIMs	6	2	600	0.00	0.00
RIMs	5	2	500	0.00	0.00
LSTM	-	-	300	0.00	4.32
LSTM	-	-	600	0.00	3.56
NTM	-	-	-	0.00	2.54
RMC	-	-	-	0.00	0.13
Transformers	-	-	-	0.00	0.54
“End of Table”	-	-	-	-	-
Sequential MNIST	-	-	-	-	-
RIMs	6	6	600	85.5	56.2
RIMs	6	5	600	88.3	43.1
RIMs	6	4	600	90.0	73.4
LSTM	-	-	300	86.8	42.3
LSTM	-	-	600	84.5	52.2
EntNet	-	-	-	89.2	52.4
RMC	-	-	-	89.58	54.23
DNC	-	-	-	87.2	44.1
Transformers	-	-	-	91.2	51.6

• RIMsは時間的パターンに特化し、いくつかのメカニズムが異なるパターンで活性化され、長時間の休止フェーズでも性能を維持できる。
• コピータスクでは、従来のモデルが劣化する長いシーケンス（Test 200）に対してRIMsが一般化し、特定の設定でLSTM・NTM・RMCより優れる。
• Sequential MNIST では、RIMsは解像度変化（14x14 から 19x19/24x24）に対してLSTMやいくつかのベースラインより堅牢である。
• RIMsは新規の妨害要因や部分観察性のある物体選択タスクで頑健性を向上させ、LSTMより優れた性能を示し、競合ベースラインに匹敵する。
• PPOベースの Atari 実験では、LSTMをRIMsに置換することでゲーム全体で顕著な性能向上が得られた。
• アブレーションにより、入力注意、疎な活性化、およびRIM間通信が性能に重要であることが示された。