[論文レビュー] On the Practical Computational Power of Finite Precision RNNs for Language Recognition

Gail Garfinkel Weiss, Yoav Goldberg+1 more|arXiv (Cornell University)|May 13, 2018

Neural Networks and Applications被引用数 6

ひとこと要約

この論文は、言語認識における有限精度RNNの実用的計算能力を調査し、ゲーティング機構のおかげでLSTMとReLUベースのElman-RNNが無限大のカウントを実装できることを示している一方、GRUと圧縮活性化RNNはそのような能力を持たない。主な貢献は、LSTMが入力バウンドかつ有限精度の制約下でも、$a^n b^n c^n$のような文脈依存言語を認識できることを示したことである。一方、GRUは有限状態のままであり、このようなタスクでは失敗する。

ABSTRACT

While Recurrent Neural Networks (RNNs) are famously known to be Turing complete, this relies on infinite precision in the states and unbounded computation time. We consider the case of RNNs with finite precision whose computation time is linear in the input length. Under these limitations, we show that different RNN variants have different computational power. In particular, we show that the LSTM and the Elman-RNN with ReLU activation are strictly stronger than the RNN with a squashing activation and the GRU. This is achieved because LSTMs and ReLU-RNNs can easily implement counting behavior. We show empirically that the LSTM does indeed learn to effectively use the counting mechanism.

研究の動機と目的

• 線形計算時間と32ビット浮動小数点精度という現実的なNLP学習制約下における有限精度RNNの計算能力を分析すること。
• LSTM、GRU、ReLU-RNN、および圧縮活性化RNNといった異なるRNNバージョンが、$a^n b^n c^n$のような文脈依存言語を認識する能力に差があるかどうかを特定すること。
• バックプロパゲーションで学習されたRNNが、有限精度制約下でも実際に明示的なカウントメカニズムを学習・利用できるかどうかを調査すること。
• 理論的に、圧縮活性化を持つSRNNが、補助次元を含めても双方向2進カウンタを実装できないことを正式に証明すること。一方、LSTMとReLU-RNNはそのような実装が可能である。
• 実証的証拠を提供し、LSTMが隠れ状態において特定のカウント用次元を学習・使用するのに対し、GRUはそうした特徴を示さないことを示すこと。

提案手法

• 研究は、計算時間が入力長に線形に依存し、状態が32ビット浮動小数点精度で表現される入力バウンド有限精度RNN（IBFP-RNN）に焦点を当てる。
• 理論的分析により、圧縮活性化（例：tanh）を用いるElman-RNNは、tanh関数と線形変換における符号保存性制約のため、双方向2進カウンタを実装できないことが証明される。
• 証明は背理法を用いる：入力「up」で増加し「down」で減少するカウンタを仮定すると、バイアス差 $b_{up} - b_{down}$ に対して矛盾する符号要件が生じ、線形性に反する。
• 実験的評価では、LSTMとGRUを $a^n b^n$ および $a^n b^n c^n$ 言語で学習させ、隠れ状態の活性化を可視化することで、LSTMが特定の次元をカウントに割り当てていることを示す。
• ReLU-RNNへの分析を拡張し、kカウンタマシンをエミュレートできることを示し、圧縮RNNよりも計算能力が優れていることを明らかにする。
• LSTM、GRU、ReLU-RNN、および圧縮RNNの間で、有限精度下での無限大カウントのシミュレーション能力に着目して、理論的および実験的比較が行われる。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーション学習を伴う有限精度・入力バウンドRNNは、$a^n b^n c^n$のような文脈依存言語を認識できるか？
• RQ2 有限精度制約下で、LSTMとReLU-RNNはGRUと圧縮RNNよりも計算能力に優れているか？
• RQ3 LSTMは、学習中に隠れ状態において明示的なカウントメカニズムを学習・利用することができ、活性化パターンの証拠によって裏付けられるか？
• RQ4 補助次元を含めても、圧縮活性化を持つElman-RNNが双方向2進カウンタを実装することは理論的に不可能であるか？
• RQ5 LSTMに備わるゲーティング機構のおかげで無限大カウントが可能である一方、同じ制約下でGRUは有限状態のままにとどまるか？

主な発見

• LSTMとReLUベースのElman-RNNは、有限精度および入力バウンド制約下でも、無限大カウントを実装でき、$a^n b^n c^n$のような文脈依存言語の認識が可能である。
• GRUと圧縮活性化Elman-RNNは、tanh活性化と線形変換における符号保存性制約のため、双方向2進カウンタを実装できず、有限状態にとどまる。
• 実験的結果により、LSTMが $a^n b^n$ および $a^n b^n c^n$ シーケンスにおいて、特定の隠れ状態次元をカウントに割り当てて学習していることが、明確な活性化パターンの差異によって裏付けられる。
• 理論的分析により、圧縮活性化を持つ任意のElman-RNNは、補助次元を含めても一貫した双方向カウンタを実装できないことが証明された。これは、バイアス差に矛盾する符号要件が生じるためである。
• ReLU-RNNもLSTMと同様に、kカウンタマシンをエミュレートでき、圧縮RNNよりも計算能力に優れる。ただし、明示的なゲートは備えていない。
• 本研究の結果から、LSTMは線形化された解析木の処理など、カウントが必要なタスクに特に適しており、これがそのNLP応用における実験的優位性の理由である可能性が示唆される。