[論文レビュー] Learning What to Remember: Long-term Episodic Memory Networks for Learning from Streaming Data

Hyunwoo Jung, Moonsu Han+2 more|arXiv (Cornell University)|Dec 11, 2018

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、相対的および歴史的 Importance を評価することで、ストリーミングデータにおける重要なメモリエントリを効果的に保持する強化学習ベースのメモリ管理フレームワーク、Long-term Episodic Memory Networks (LEMN) を提案する。LEMN は、パス探索、エピソードQA、長文QAタスクにおいて、長期間にわたり有用な情報を保持する動的メモリ管理により、ルールベースおよびベースラインRL手法を上回る性能を発揮する。

ABSTRACT

Current generation of memory-augmented neural networks has limited scalability as they cannot efficiently process data that are too large to fit in the external memory storage. One example of this is lifelong learning scenario where the model receives unlimited length of data stream as an input which contains vast majority of uninformative entries. We tackle this problem by proposing a memory network fit for long-term lifelong learning scenario, which we refer to as Long-term Episodic Memory Networks (LEMN), that features a RNN-based retention agent that learns to replace less important memory entries based on the retention probability generated on each entry that is learned to identify data instances of generic importance relative to other memory entries, as well as its historical importance. Such learning of retention agent allows our long-term episodic memory network to retain memory entries of generic importance for a given task. We validate our model on a path-finding task as well as synthetic and real question answering tasks, on which our model achieves significant improvements over the memory augmented networks with rule-based memory scheduling as well as an RL-based baseline that does not consider relative or historical importance of the memory.

研究の動機と目的

• 大規模で連続するデータストリームを処理する際のメモリ拡張ネットワークにおけるスケーラビリティの課題に対処する。
• 固定容量のメモリの制限を克服し、生涯学習のシナリオにおいて重要でないエントリを学習して削除する。
• メモリエントリ間の相対的重要性とその歴史的意義の両方を考慮する保持メカニズムを開発する。
• 将来のタスクに関する事前知識なしに、効率的な長期メモリ管理を可能にする。
• 意味的に重要な情報を保持することで、順序付きおよび長文脈推論タスクの性能を向上させる。

提案手法

• 各メモリエントリの保持確率を計算するための空間的・時間的RNNに基づく保持エージェントを導入する。
• どのエントリを削除するかを決定することで将来のタスクパフォーマンスを最大化するように、強化学習により保持エージェントを訓練する。
• コンテンツベースアドレッシングを用いて、固定サイズNの外部メモリモジュールから読み書きを行う。
• 順序付き入力を処理し、メモリを選択的に更新するためのベースネットワーク（例：BiDAF）と保持エージェントを統合する。
• 現在の関連性と歴史的意義の両方のスコアを計算することで、長期的メモリ保持を可能にする。
• 必要に応じてメモリを更新する段階的処理により、ストリーミングデータにモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、将来のタスクに関する事前知識なしに、ストリーミングデータにおける長期的エピソードメモリを効果的に管理できるか？
• RQ2 メモリエントリの相対的および歴史的意義を考慮することで、ルールベースまたは文脈なしのRL手法と比較して、保持パフォーマンスが向上するか？
• RQ3 提案されたLEMNフレームワークは、質問応答やパス探索などの長文脈推論タスクでどの程度の性能を発揮するか？
• RQ4 保持メカニズムは、長時間にわたるシーケンスにおいて、意味的に重要な情報をどの程度効果的に保持できるか？
• RQ5 異なるメモリ要件およびデータストリーム長を有する多様なタスクに、モデルは一般化可能か？

主な発見

• LEMN は、すべてのタスクでFIFO（先入れ先出し）スケジューリングを顕著に上回り、検証済みTriviaQAサブセットで45.21%のExactMatchを達成した。
• ST-LEMNバージョンは、TriviaQAの遠隔監視セットで49.04%のF1スコアを達成し、すべてのベースラインを上回った。
• エピソードQAのLargeタスクでは、IM-LEMNがエラー率をFIFOの32.40から9.00にまで低減させ、優れた一般化性能を示した。
• ST-LEMNモデルは、Noisyタスクで3.90のエラー率を記録し、次に良い手法を40%以上上回った。
• 可視化により、LEMNが 'Italy' のような重要なエンティティをメモリに保持している一方で、関係のない文は破棄していることが確認された。
• アブレーションスタディの結果、歴史的意義を組み込むことでパフォーマンスが向上し、保持意思決定における時間的文脈の価値が裏付けられた。