[論文レビュー] Relational recurrent neural networks

Adam Santoro, Ryan Faulkner+8 more|arXiv (Cornell University)|Jun 5, 2018

Topic Modeling参考文献 36被引用数 27

ひとこと要約

本論文では、多ヘッドドット積分注意力を用いてメモリスロット間の明示的相互作用を可能にする、再帰的ニューラルネットワークのための新しいメモリモジュール、関係的メモリコア（RMC）を紹介する。順序付き情報における関係的推論を強化することで、言語モデリング（WikiText-103、GigaWord、Project Gutenberg）、プログラム評価、およびミニパックマンなどの強化学習タスクで最先端の結果を達成した。

ABSTRACT

Memory-based neural networks model temporal data by leveraging an ability to remember information for long periods. It is unclear, however, whether they also have an ability to perform complex relational reasoning with the information they remember. Here, we first confirm our intuitions that standard memory architectures may struggle at tasks that heavily involve an understanding of the ways in which entities are connected -- i.e., tasks involving relational reasoning. We then improve upon these deficits by using a new memory module -- a extit{Relational Memory Core} (RMC) -- which employs multi-head dot product attention to allow memories to interact. Finally, we test the RMC on a suite of tasks that may profit from more capable relational reasoning across sequential information, and show large gains in RL domains (e.g. Mini PacMan), program evaluation, and language modeling, achieving state-of-the-art results on the WikiText-103, Project Gutenberg, and GigaWord datasets.

研究の動機と目的

• 再帰的ネットワークにおける標準的なメモリアーキテクチャが、順序付き情報における複雑な関係的推論に十分な能力を有しているかどうかを調査すること。
• 保存されたメモリ同士の相互作用を明示的に可能にするメモリモジュールを設計し、時間経過に伴う関係的推論を向上させること。
• 長距離依存性と関係的推論を要するタスク、例えばプログラム評価や言語モデリングにおいて、提案された関係的メモリコア（RMC）を評価すること。
• 注目に基づく明示的なメモリ同士の相互作用が、標準的なRNNやメモリ拡張ネットワークと比較して、順序付き推論タスクにおける性能向上に寄与することを示すこと。
• メモリスロット数や注目ヘッド数といったアーキテクチャ的選択が、多様なタスクにおけるモデル性能に与える影響を分析すること。

提案手法

• RMCは、各タイムステップでメモリスロット間の相互作用を計算する多ヘッドドット積分注意力（MHDPA）モジュールに、従来のメモリ機構を置き換える。
• メモリ拡張ネットワークと同様に固定されたメモリスロット数を用いるが、これらのスロット間の注目に基づく相互作用を導入することで、関係的推論を可能にする。
• 入力ベクトルは投影され、残差接続を介してメモリ状態と結合され、その後、メモリベクトル上の多ヘッド注目を用いてメモリ行列を更新する。
• RMCは再帰的に動作し、1つの入力を順次処理し、時間経過とともに変化する動的メモリ行列を維持する。
• LSTM、メモリ拡張ネットワーク、およびTransformerの要素、特にTransformerエンコーダーの自己注目メカニズムを統合したアーキテクチャである。
• RMCモジュールは微分可能であり、標準的な最適化手法と互換性があるため、標準的なバックプロパゲーションを用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 標準的なメモリ拡張RNNやLSTMは、順序付き情報における複雑な関係的推論を実行できるのか、それともメモリ同士の相互作用を明示的に扱うメカニズムを欠いているのか？
• RQ2 メモリスロット間の明示的な注目に基づく相互作用を導入することで、時間経過にわたる関係的推論を要するタスクでの性能が向上するのか？
• RQ3 メモリスロット数や注目ヘッド数といったアーキテクチャ的選択が、モデルの関係的推論能力に与える影響は何か？
• RQ4 標準的なRNNと比較して、RMCは文脈が限られた状況や少データ設定において、どれほどデータ効率性と一般化性能を向上させるのか？
• RQ5 RMCは、言語モデリング、プログラム評価、強化学習を含む多様な順序付き推論タスクで最先端の性能を達成できるのか？

主な発見

• RMCはWikiText-103言語モデリングベンチマークで最先端の結果を達成し、パープレキシティの観点で先行モデルを上回った。
• GigaWordおよびProject Gutenbergデータセットでも、RMCは新たな最先端性能を達成し、多様なテキストドメインにわたる強力な一般化能力を示した。
• ミニパックマン強化学習環境では、RMCは標準的なRNNベースラインを著しく上回り、長距離計画立案と関係的推論の向上が示された。
• RMCは優れたデータ効率性を示した。限られた文脈語でも高い性能を達成しており、より大きな文脈窓を必要としていたLSTMを上回った。
• 頻出語のモデリングが向上し、言語モデリングタスクにおけるパープレキシティ低減の大部分を占めた。
• 実証的分析から、1スロット構成において注目ヘッド数を増やすことで性能向上が確認され、メモリサイズとスロット数のバランスはタスクに依存することが分かった。