[論文レビュー] Adaptive Memory Networks

Daniel Li, Asim Kadav|arXiv (Cornell University)|Feb 1, 2018

Topic Modeling参考文献 4被引用数 4

ひとこと要約

適応的メモリネットワーク（AMN）は、入力質問に対するエンティティの関連性に基づいて離散的なメモリバンクを生成することで、質問応答（QA）タスクに対して可変深度のメモリアーキテクチャを動的に構築する。この手法により、選択的なバンクアクセスが可能となり、推論速度が向上する。AMNはbAbIタスクで最先端の精度を達成するとともに、微分可能で離散的なバンクコントローラーを用いることで、エンティティの一部のみを検査する形で推論時間を最大87%まで短縮している。

ABSTRACT

We present Adaptive Memory Networks (AMN) that processes input-question pairs to dynamically construct a network architecture optimized for lower inference times for Question Answering (QA) tasks. AMN processes the input story to extract entities and stores them in memory banks. Starting from a single bank, as the number of input entities increases, AMN learns to create new banks as the entropy in a single bank becomes too high. Hence, after processing an input-question(s) pair, the resulting network represents a hierarchical structure where entities are stored in different banks, distanced by question relevance. At inference, one or few banks are used, creating a tradeoff between accuracy and performance. AMN is enabled by dynamic networks that allow input dependent network creation and efficiency in dynamic mini-batching as well as our novel bank controller that allows learning discrete decision making with high accuracy. In our results, we demonstrate that AMN learns to create variable depth networks depending on task complexity and reduces inference times for QA tasks.

研究の動機と目的

• 推論時間の短縮を図りつつ、精度を損なわないQAシステムの構築。
• 入力の複雑さに応じて動的アーキテクチャを生成するメモリネットワークのエンドツーエンド学習を可能にする。
• メモリバンク作成およびエンティティルーティングのための離散的で微分可能な意思決定の学習。
• 長文のQAにおいて、関連するメモリバンクのみにデコードを制限することで効率性を向上。
• 質問に関連する意味的に整合性のあるメモリバンクにエンティティを整理することで、解釈可能性の向上。

提案手法

• AMNは入力ストーリーを処理してエンティティを抽出し、それらをメモリバンクに格納する。バンク数は、1つのバンク内のエントロピーが閾値を超えると動的に増加する。
• 新規の微分可能バンクコントローラーは再パrameterizationテクニックを用い、エンティティのバンク内配置に関する離散的選択を微分可能にすることで、バックプロパゲーションによる学習を可能にする。
• エンティティは、入力質問に対する関連性に基づいてバンクにグループ化され、質問依存のエンティティクラスタリングを反映する階層的構造を形成する。
• モデルは動的ネットワークアーキテクチャを採用しており、入力ごとに必要なバンク数のみを生成するため、推論時の計算量を削減する。
• 複数の質問処理をサポートするため、複数の質問間で共有されるメモリ構造を生成し、重複するネットワーク構築を回避する。
• デコーダーは推論時に最も関連性の高いバンクのみにアクセスするため、速度と精度のトレードオフが生じる。

実験結果

リサーチクエスチョン

• RQ1 推論時にアーキテクチャを動的に構築することで、計算コストを削減できるか？
• RQ2 エンドツーエンド学習が可能なように、離散的メモリ管理意思決定をどのように微分可能にするか？
• RQ3 適応的メモリ組織化が、精度を損なわず推論効率をどの程度向上できるか？
• RQ4 多様な複雑さとエンティティ関係を有する多様なQAタスクに一般化可能か？
• RQ5 メモリバンクの数は、タスクの難易度やエンティティ関連性とどの程度相関するか？

主な発見

• AMNは、エンティティの一部のみを検査することで、標準的なメモリネットワークと比較して推論時間を最大87%短縮している。
• bAbI 100-エンティティタスクでは、AMNは6つのメモリバンクを生成するが、合計エンティティの13%（比 0.13）しか使用しない。計算量の大幅な削減が達成されている。
• 複数質問タスクでは、入力の複雑さが増加しても平均で38%のエンティティしか使用しないため、高い効率性を維持している。
• AMNはbAbIタスク全20問で最先端の性能を達成しており、経路探索やカウントといった複雑な推論タスクに対しても有効である。
• エンティティが疎または非常に関連性が高い場合には、1つのメモリバンクしか作成しない傾向にあり、効果的な関連性ベースのルーティングが学習されている。
• AMNの微分可能で離散的なコントローラーは、カリキュラム学習を必要とせず安定した学習を可能にした。これはNTMsとは対照的である。