[論文レビュー] Memory-Augmented Recurrent Neural Networks Can Learn Generalized Dyck Languages

Mirac Süzgün, Sebastian Gehrmann+2 more|arXiv (Cornell University)|Nov 8, 2019

Music and Audio Processing参考文献 45被引用数 29

ひとこと要約

本論文は、プッシュダウンオートマトンをエミュレートすることで、一般化されたDyck言語（n ≤ 6のD_n）を効果的に学習する3つのメモリ拡張RNNアーキテクチャ—Stack-RNN、Stack-LSTM、Baby-NTM—を提案する。モデルは階層的・ネストされた括弧構造をほぼ完璧な正確性で認識し、有限精度を持つニューラルネットワークが文脈自由言語に不可欠なスタックベースの計算を習得できることを初めて示した。

ABSTRACT

We introduce three memory-augmented Recurrent Neural Networks (MARNNs) and explore their capabilities on a series of simple language modeling tasks whose solutions require stack-based mechanisms. We provide the first demonstration of neural networks recognizing the generalized Dyck languages, which express the core of what it means to be a language with hierarchical structure. Our memory-augmented architectures are easy to train in an end-to-end fashion and can learn the Dyck languages over as many as six parenthesis-pairs, in addition to two deterministic palindrome languages and the string-reversal transduction task, by emulating pushdown automata. Our experiments highlight the increased modeling capacity of memory-augmented models over simple RNNs, while inflecting our understanding of the limitations of these models.

研究の動機と目的

• メモリ拡張RNNが、階層的構造を要するスタックベースのメカニズムを必要とする一般化されたDyck言語を学習できるかどうかを調査すること。
• 強化されたRNNが、長距離依存関係やネスト構造を含む複雑な系列モデリングタスクを遂行できる能力を評価すること。
• 明示的なスタック操作を要するタスクにおいて、メモリ拡張モデルと通常のRNNおよびLSTMの性能を比較すること。
• 学習中にメモリ拡張ネットワークがプッシュダウンオートマトンをエミュレートしているかどうかを、内部ダイナミクスの分析を通じて検証すること。
• 従来の研究で標準RNNや一部のメモリ拡張モデルがD_2やD_3を学習できなかったという矛盾を解消すること。

提案手法

• 外部1次元メモリを統合したスタック風の操作を可能にする3つのメモリ拡張RNN変種—Stack-RNN、Stack-LSTM、Baby-NTM—を提案する。
• 合成データセット（Dyck言語と回文タスク）を用いて、系列予測および系列変換フレームワークでモデルをエンドツーエンドに訓練する。
• メモリが記号を格納し、入力トークンとモデルの意思決定に基づいてプッシュ/ポップ操作を実行するスタック機構を実装する。
• 変換タスクにおいて、マーカー記号（例：#）を用いてメモリの逆転とスタックベースの出力生成をトリガーする。
• 推論中の隠れ状態とメモリ内容を可視化し、スタックエミュレーション動作が確認できるかを検証する。
• メモリ次元数やモデルアーキテクチャを変化させたアブレーションスタディを実施し、性能要因を特定する。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張RNNは、階層的・ネストされた一致を要するD_n（n > 1）言語を学習できるか？
• RQ2 なぜ標準RNNやLSTMはD_2やD_3を学習できないが、メモリ拡張モデルは成功するのか？
• RQ3 メモリ次元数が、文字列反転などの複雑な系列タスクの学習能力にどのように影響するか？
• RQ4 MARNNはプッシュダウンオートマトンをエミュレートする学習をしたと見なせるか？内部状態の可視化によってその妥当性を検証できるか？
• RQ5 回文タスクおよび文字列反転タスクで性能が低下するのはなぜか？そして、その原因をどのように是正できるか？

主な発見

• 提案されたMARNNは、D_2、D_3、D_6言語をほぼ完璧なテスト正確性で学習し、ニューラルネットワークが一般化されたDyck言語を学習した初の成功事例を示した。
• すべてのMARNNモデルは、入力と出力のアルファベットが互いに排他的な決定的同型回文および文字列反転タスクで100％の正確性を達成した。
• 回文タスクにおいて入力と出力の半分に共通の記号が存在した場合、90回中87回の試行でモデルが失敗し、共有記号による混乱が原因であることが示された。
• メモリ次元数を1から5に増加させたことで、文字列反転タスクの失敗が解消され、ほぼ完璧な正確性が回復した。これにより、メモリ容量が局所最適解を回避する役割を果たすことが確認された。
• メモリ状態の可視化により、MARNNが最初の半分で記号をプッシュし、#マーカー後に逆順にポップすることで、プッシュダウンオートマトンをエミュレートしていることが確認された。
• すべてのタスクで、通常のRNNやLSTMよりもMARNNが優れた性能を示し、外部メモリが階層的構造のモデリング能力を顕著に向上させることを実証した。