[論文レビュー] Learning to Remember More with Less Memorization

Hung Lê, Truyen Tran+1 more|arXiv (Cornell University)|Jan 5, 2019

Topic Modeling参考文献 31被引用数 13

ひとこと要約

本稿では、メモリ拡張ニューラルネットワーク（MANNs）向けの新しい不規則な書き込み戦略として、Uniform Writing（UW）とCached Uniform Writing（CUW）を提案する。これらの戦略は、情報保持の最適化により、冗長な計算を低減し、メモリの利用効率を向上させる。等間隔のタイムステップ仮定を緩和し、メモリ利用の理論的上限を設定することで、限られたメモリ環境下での長文脈学習において、DNC や Transformers と比較して最先端の性能を達成した。

ABSTRACT

Memory-augmented neural networks consisting of a neural controller and an external memory have shown potentials in long-term sequential learning. Current RAM-like memory models maintain memory accessing every timesteps, thus they do not effectively leverage the short-term memory held in the controller. We hypothesize that this scheme of writing is suboptimal in memory utilization and introduces redundant computation. To validate our hypothesis, we derive a theoretical bound on the amount of information stored in a RAM-like system and formulate an optimization problem that maximizes the bound. The proposed solution dubbed Uniform Writing is proved to be optimal under the assumption of equal timestep contributions. To relax this assumption, we introduce modifications to the original solution, resulting in a solution termed Cached Uniform Writing. This method aims to balance between maximizing memorization and forgetting via overwriting mechanisms. Through an extensive set of experiments, we empirically demonstrate the advantages of our solutions over other recurrent architectures, claiming the state-of-the-arts in various sequential modeling tasks.

研究の動機と目的

• 連続的な書き込みによるメモリ拡張ニューラルネットワーク（MANNs）の非効率性、特に冗長な計算と短期コントローラメモリの未利用化を是正すること。
• すべてのタイムステップが等価な寄与を持つという仮定の下で、RAM ライクな MANN における情報保持量の理論的上限を導出すること。
• この上限を最大化し、計算コストを低減する最適な書き込み戦略である Uniform Writing（UW）を導出すること。
• 等間隔タイムステップ仮定を緩和するために、局所的アテンションを用いて記憶と忘却のバランスを取る Cached Uniform Writing（CUW）を導入すること。
• 合成および実世界の順序付きタスクにおいて、UW および CUW が既存の MANN や最先端モデルを上回ることを実証的に検証すること。

提案手法

• 隠れ状態の勾配ノルムに基づく理論的指標を提案し、各入力が最終状態に与える寄与度を測定することで、MANN における情報保持の度合いを評価する。
• 等間隔タイムステップ寄与仮定の下で、冗長な書き込みを最小限に抑えつつ情報格納を最大化する最適な書き込み戦略である Uniform Writing（UW）を導出する。
• UW に局所的アテンションを組み合わせることで、選択的書き込みを可能にする Cached Uniform Writing（CUW）を導入し、重要なタイムステップの識別性を向上させる。
• 書き込みゲート機構を用いてメモリ更新を制御し、入力の重要性に基づいて何時書き込むかをモデルが学習できるようにする。
• 神経コントローラに従って制御されるアテンションベースの読み書き操作を採用し、不規則な書き込みスケジュールによりメモリアクセスを最適化する。
• 既存の MANN アーキテクチャ（例：DNC）に UW および CUW を統合し、アーキテクチャの変更なしに適用する。

実験結果

リサーチクエスチョン

• RQ1 すべてのタイムステップが等価な寄与を持つという仮定の下で、RAM ライクな MANN システムに格納される情報量に理論的上限を設定できるか？
• RQ2 MANN における連続的書き込みは、冗長な計算と短期コントローラメモリの未利用化により、非効率的であると示せるか？
• RQ3 MANN において、計算コストを最小限に抑えつつ情報保持を最大化する最適な書き込み戦略を導出できるか？
• RQ4 等間隔タイムステップ仮定を緩和することで、非一様なシーケンスタスクにおいて性能を向上させられるか？
• RQ5 提案された書き込み戦略（UW および CUW）は、長文脈順序モデリングタスクで最先端の性能を達成できるか？

主な発見

• Cached Uniform Writing（CUW）は、文書分類タスクで最先端の性能を達成し、IMDb、Yelp、AG’s News データセットにおいて、DNC や Transformers を上回った。
• AG’s News データセットでは、CUW の平均正答率が 93.73% ± 0.08 に達し、UW（93.54% ± 0.08）および Transformer（MNIST では 98.9% だが、pMNIST では低かった）を上回った。
• ノイズのある入力を持つ正弦波回帰タスクにおいて、CUW は信号の振幅に同期して書き込みを行うことを学習し、UW や DNC よりも高い復元精度を達成した。
• UW は、クリーンな状態およびノイズのある正弦波タスクにおいて、標準的な DNC よりも優れた性能を示し、等価寄与仮定下での理論的最適性を裏付けた。
• 可視化結果から、CUW は重要なタイムステップを効果的に識別し、読み書きのタイミングを同期しているのに対し、DNC はメモリ操作の調整に失敗していた。
• 提案手法は、各タイムステップでのメモリアクセスを回避することで、計算時間を顕著に短縮し、性能を損なわずにもかかわらず、効率性の向上を示した。