[論文レビュー] On the Computational Power of RNNs

Samuel A. Korsky, Robert C. Berwick|arXiv (Cornell University)|Jun 14, 2019

Machine Learning and Algorithms参考文献 13被引用数 19

ひとこと要約

この論文は、実用的な再帰的ニューラルネットワーク（RNNs）およびゲート付き再帰ユニット（GRUs）の計算的限界を確立する。有限精度のRNNにReLU活性化関数を適用した場合、決定的有限オートマトン（DFAs）と同等の能力を持つことが証明されている。一方、無限精度のRNNにReLUを適用した場合、文脈自由言語（プッシュダウンオートマトンに相当）を認識可能である。無限精度で非線形出力を持つGRUsについても、プッシュダウンオートマトンと同等の能力を示し、標準的なアーキテクチャが理論的には階層的な言語的構造を捉えることができることを示している。

ABSTRACT

Recent neural network architectures such as the basic recurrent neural network (RNN) and Gated Recurrent Unit (GRU) have gained prominence as end-to-end learning architectures for natural language processing tasks. But what is the computational power of such systems? We prove that finite precision RNNs with one hidden layer and ReLU activation and finite precision GRUs are exactly as computationally powerful as deterministic finite automata. Allowing arbitrary precision, we prove that RNNs with one hidden layer and ReLU activation are at least as computationally powerful as pushdown automata. If we also allow infinite precision, infinite edge weights, and nonlinear output activation functions, we prove that GRUs are at least as computationally powerful as pushdown automata. All results are shown constructively.

研究の動機と目的

• 実際のNLPで用いられる標準的なRNNおよびGRUの理論的計算的パワーを特定すること。
• これらのモデルが、ネスト構造やバランス構造を持つような文脈自由言語を認識できるかどうかを調査すること。
• 活性化関数、精度、アーキテクチャが計算的表現力に与える影響を明確にすること。
• NLPにおける実証的成功と、これらのモデルが計算可能な範囲の理論的理解のギャップを埋めること。

提案手法

• 有限精度RNNの隠れ状態から決定的有限オートマトン（DFAs）を構築することで、DFAと同等であることを証明する。
• 構成的証明を用いて、ReLU活性化関数を用いた無限精度RNNがプッシュダウンオートマトン（PDAs）をシミュレート可能であることを示す。
• 無限精度、無限大のエッジ重み、非線形出力関数を持つGRUsが、PDAをシミュレート可能であることを実証する。
• 入力に対する隠れ状態の変化を分析することで、RNNおよびGRUが言語認識に必要な状態情報をどのように保持・更新しているかを示す。
• 事前に定義された集合S内の最終出力値による受容を定義することで、形式的言語認識を可能にする。
• 自動機理論からの理論的モデルを応用し、ニューラルネットワークアーキテクチャの計算容量を分析する。

実験結果

リサーチクエスチョン

• RQ1 有限精度RNNにReLU活性化関数を適用した場合、すべての正規言語を認識可能か？
• RQ2 精度が制限された標準的なRNNの計算的パワーに理論的限界はあるか？
• RQ3 無限精度RNNにReLU活性化関数を適用した場合、Dyck言語のような文脈自由言語を認識可能か？
• RQ4 標準的な活性化関数と無限精度を持つGRUsは、プッシュダウンオートマトンの表現力を達成できるか？
• RQ5 RNNやGRUがPDAをシミュレートするためには、どのようなアーキテクチャ的・精度的条件が必要か？

主な発見

• ReLU活性化関数を用いた有限精度RNN（1層の隠れ層）は、決定的有限オートマトン（DFAs）と正確に同等の計算的パワーを持つ。
• ReLU活性化関数を用いた無限精度RNNは、プッシュダウンオートマトン（PDAs）以上に強力であり、文脈自由言語を認識可能である。
• 無限精度、無限大のエッジ重み、非線形出力関数を持つGRUsも、PDA以上に強力である。
• 証明は構成的であり、a^n b^nのような言語をPDAがシミュレート可能な明示的なネットワーク構成を示している。
• 従来の研究とは異なり、特別な活性化関数を必要とせず、標準的な順次入力処理と一般的な活性化関数の仮定のもとで結果が成り立つ。
• 本研究は、標準的なRNNおよびGRUが、十分な精度が与えられれば、理論的には階層的な言語的構造をモデル化可能であることを明確にした。