[論文レビュー] Learning to Remember, Forget and Ignore using Attention Control in Memory

T. S. Jayram, Younes Bouhadjar+5 more|arXiv (Cornell University)|Sep 28, 2018

Memory Processes and Influences参考文献 22被引用数 3

ひとこと要約

本論文は、関連性に基づいて情報の記憶・忘却・無視を学習する注目制御付きの新しいニューラルネットワークアーキテクチャ、微分可能作業記憶（DWM）を紹介する。モデルは動的および静的ブックマークを用いて注目を制御し、人間の作業記憶を模倣する。これにより、心理学的タスクの堅牢な学習と、学習済みシーケンスの100倍の長さのシーケンスへの一般化が可能となり、トレーニング中に「上書き」や「スキップ」などの解釈可能な戦略が出現する。

ABSTRACT

Typical neural networks with external memory do not effectively separate capacity for episodic and working memory as is required for reasoning in humans. Applying knowledge gained from psychological studies, we designed a new model called Differentiable Working Memory (DWM) in order to specifically emulate human working memory. As it shows the same functional characteristics as working memory, it robustly learns psychology inspired tasks and converges faster than comparable state-of-the-art models. Moreover, the DWM model successfully generalizes to sequences two orders of magnitude longer than the ones used in training. Our in-depth analysis shows that the behavior of DWM is interpretable and that it learns to have fine control over memory, allowing it to retain, ignore or forget information based on its relevance.

研究の動機と目的

• 人間の作業記憶の機能的特徴（限られた容量、注目制御など）を模倣するニューラルネットワークモデルの開発。
• 関連性に基づいて情報の選択的保持・忘却・無視を可能にする記憶メカニズムの設計。
• 認知心理学から導出したアルゴリズム的タスクのセットを作成し、ニューラルネットワークにおける作業記憶行動の評価と探査を目的とする。
• 注目制御メカニズムが記憶拡張ネットワークにおけるデータ効率性と一般化をどのように向上させるかの調査。
• 干渉下での記憶管理を学習する際、効率的な記憶戦略（例：「上書き」や「スキップ」）がトレーニング中にどのように出現するかの研究。

提案手法

• DWMモデルは、動的ブックマーク（現在の処理状態を追跡）と静的ブックマーク（再考ターゲットを保存）を用いたメモリマトリクスを採用し、注目を制御する。
• ゲーティング機構を介した注目制御により、入力マーカーに応じて注目をシフトまたは固定可能であり、これによりメモリへの選択的書き込み・読み込みが可能となる。
• 入力項目（x）、干渉要因（y）、コマンド（再考または無視）、再考マーカーを明確に区別するマーカーを用いてシーケンスを処理し、記憶制御の構造的学習を可能にする。
• コントローラーネットワークは隠れ状態を用いて、部分列にわたり操作モード（例：上書き対比スキップ）を長期間にわたり保持可能であり、タスクコンテキストの長期記憶を可能にする。
• 注目シフトには円形畳み込みが用いられ、タスク要件に応じてブックマークを用いてメモリ位置の取得または上書きを学習する。
• トレーニングは標準的なバックプロパゲーションで最適化され、正しく再考できることと注目制御の正確性に基づく損失関数が用いられる。

実験結果

リサーチクエスチョン

• RQ1 微分可能な記憶モデルは、人間の作業記憶を模倣するように、関連性に基づいて情報の選択的記憶・忘却・無視を学習できるか？
• RQ2 動的および静的ブックマークのような注目制御メカニズムは、記憶拡張ネットワークにおけるデータ効率性と一般化をどのように向上させるか？
• RQ3 干渉下で記憶を管理する際、モデルは「上書き」や「スキップ」のような戦略をどのように開発するか？
• RQ4 モデルは、トレーニング時に見られなかったシーケンスよりも著しく長いシーケンスにどの程度一般化できるか？
• RQ5 記憶制御行動はどの程度解釈可能であり、注意と認知制御の心理学的メカニズムと結びつけることができるか？

主な発見

• DWMモデルは、トレーニング時に使用されたシーケンスの100倍の長さのシーケンスに対しても、強く効果的な時間的一般化のインダクティブバイアスを示す。
• モデルは、干渉要因の処理に「上書き」と「スキップ」の2つの異なる戦略を学習し、特に記憶制限下では「スキップ」戦略が出現するが、これにはより複雑な隠れ状態記憶が必要となる。
• トレーニングの過程で、モデルは反応的な「上書き」戦略から、より効率的な「スキップ」戦略へと進化する。これは、操作モードの適応的学習を示している。
• 動的ブックマークは、関連するアイテムに対して注目を追従し、干渉要因処理中は注目を固定するよう学習し、解釈可能でタスク固有の注目制御を示している。
• 注目制御メカニズムにより、複雑なスパンタスクにおいて優れた性能を発揮し、DNC や LSTM よりもデータ効率性と一般化性能に優れている。
• システムの行動は解釈可能であり、明確な注目制御と記憶リソース管理の証拠が得られ、心理学的作業記憶モデルと整合的である。