[論文レビュー] MEMO: A Deep Network for Flexible Combination of Episodic Memories

Andrea Banino, Adrià Puigdomènech Badia+8 more|arXiv (Cornell University)|Jan 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 7

ひとこと要約

MEMOは、外部記憶を備えた画期的な深層ネットワークアーキテクチャを提案する。このアーキテクチャは、記憶された事実とその構成要素を分離することで、エピソード的記憶における柔軟でマルチホップの推論を可能にし、適応的リtrievalメカニズムを用いる。bAbIベンチマークで最先端の性能を達成し、長距離の関連付け推論および最短経路タスクでも既存のモデルを上回り、学習された記憶ホップを通じて強力な一般化能力を示している。

ABSTRACT

Recent research developing neural network architectures with external memory have often used the benchmark bAbI question and answering dataset which provides a challenging number of tasks requiring reasoning. Here we employed a classic associative inference task from the memory-based reasoning neuroscience literature in order to more carefully probe the reasoning capacity of existing memory-augmented architectures. This task is thought to capture the essence of reasoning -- the appreciation of distant relationships among elements distributed across multiple facts or memories. Surprisingly, we found that current architectures struggle to reason over long distance associations. Similar results were obtained on a more complex task involving finding the shortest path between nodes in a path. We therefore developed MEMO, an architecture endowed with the capacity to reason over longer distances. This was accomplished with the addition of two novel components. First, it introduces a separation between memories (facts) stored in external memory and the items that comprise these facts in external memory. Second, it makes use of an adaptive retrieval mechanism, allowing a variable number of "memory hops" before the answer is produced. MEMO is capable of solving our novel reasoning tasks, as well as match state of the art results in bAbI.

研究の動機と目的

• 既存のメモリ拡張ニューラルネットワークが長距離の関連付けの推論において抱える制限を調査すること。
• 海馬の機能にインspiredされ、分離されたエピソード的記憶を柔軟に組み合わせることで推論的推論を可能にするモデルを開発すること。
• タスクの複雑さに基づいて、計算時間の固定を回避するための、タスクの複雑さに応じた適応的メモリホップ数の導入。
• 手順的生成による推論タスクを用いることで、退化した解を避けるより一般化可能なアーキテクチャの構築。
• bAbIのような標準ベンチマークを超えた、Paired Associative Inferenceおよび最短経路探索を含む新しいタスクでの性能評価。

提案手法

• 外部記憶に格納された事実と、それらを構成する個々の項目との間の分離を導入し、細かく制御可能な操作を可能にする。
• 可変長のメモリリトリーブを可能にする再帰的アテンションメカニズムを採用し、各ホップで過去の相互作用に基づいてクエリを精緻化する。
• タスクの複雑さに応じて必要なメモリホップ数を動的に決定する適応的停止メカニズム（ACT）を用いる。
• メモリコンテンツに線形投影を適用し、複数ホップにわたり関連するメモリスロットを重みづけする学習可能なクエリメカニズムを活用する。
• メモリサイズとパラメータを固定し、入力文の数に対して線形時間計算量を保証する。これにより、ユニバーサルトランスフォーマーのような二次関数的モデルとは異なり、効率的である。
• 微分可能なアテンションベースのメモリ読み書きメカニズムを採用し、LSTMで構成されるコントローラーネットワークがクエリを処理し、繰り返しメモリ状態を更新する。

実験結果

リサーチクエスチョン

• RQ1 既存のメモリ拡張ネットワークは、長距離の関連付けを要する、新しい手順的生成推論タスクに一般化できるか？
• RQ2 分離された事実を含むタスクにおける推論性能に、メモリホップ数がどのように影響するか？
• RQ3 固定ホップ数のモデルと比較して、適応的計算メカニズムは推論の効率性と正確性を向上させられるか？
• RQ4 記憶内での事実とその構成要素の分離は、推論的推論の能力向上に寄与するか？
• RQ5 MEMOは、DNC、EMN、およびユニバーサルトランスフォーマーといった最先端モデルと比較して、推論ベンチマークでどのように性能を発揮するか？

主な発見

• MEMOは、長距離の関連付けを要する新しいPaired Associative Inference（PAI）タスクにおいて、DNC や EMN といった既存モデルを著しく上回る。
• MEMOは、bAbI質疑応答ベンチマークで最先端の性能を達成し、100のタスクすべてを高い正確性で解消した。
• 最短経路タスクにおいても、MEMOは強力な一般化能力を示し、95％のインスタンスを解消した。一方、ベースラインモデルはより長いパスでは失敗した。
• 適応的ホップメカニズムにより、MEMOは各タスクに必要な最小限のホップ数のみを用いることができ、性能を落とさずに計算量を削減した。
• 事実とその構成要素の分離により、未学習のPAIインスタンスにおけるゼロショット一般化性能が向上し、より効果的な推論が可能になった。
• MEMOは、入力長に対して線形時間計算量を維持しており、ユニバーサルトランスフォーマーのような二次関数的モデルと比較して、より効率的である。