[論文レビュー] Recurrent Neural Networks as Weighted Language Recognizers

Yining Chen, Sorcha Gilroy+3 more|arXiv (Cornell University)|Nov 15, 2017

Natural Language Processing Techniques参考文献 13被引用数 6

ひとこと要約

この論文は、自然言語処理で一般的に用いられる、単層のReLU活性化関数、有理数重み、ソフトマックス出力を持つRNNにおける、基本的問題—整合性、同値性、最小化、最高重み付き文字列同定—の計算複雑性を調査する。RNNのチューリング完全性により、大多数の問題は決定不能であると証明されるが、整合性および多項式長制約のもとでは、最高重み付き文字列問題はNP完全かつAPX-hardであることが示され、実用的な文脈でヒューリスティックな近似手法が用いられる正当性が裏付けられる。

ABSTRACT

We investigate the computational complexity of various problems for simple recurrent neural networks (RNNs) as formal models for recognizing weighted languages. We focus on the single-layer, ReLU-activation, rational-weight RNNs with softmax, which are commonly used in natural language processing applications. We show that most problems for such RNNs are undecidable, including consistency, equivalence, minimization, and the determination of the highest-weighted string. However, for consistent RNNs the last problem becomes decidable, although the solution length can surpass all computable bounds. If additionally the string is limited to polynomial length, the problem becomes NP-complete and APX-hard. In summary, this shows that approximations and heuristic algorithms are necessary in practical applications of those RNNs.

研究の動機と目的

• RNNベースの重み付き言語認識におけるコア問題の計算複雑性を分析すること。
• 自然言語処理で用いられる標準的なRNNに対して、整合性、同値性、最小化、最高重み付き文字列同定といった基本的タスクが決定可能か、あるいは実行可能かを特定すること。
• RNNに対する正確なアルゴリズムの理論的限界を確立し、実務において近似法やヒューリスティック手法の使用を促すこと。

提案手法

• ReLU活性化、有理数重み、ソフトマックス出力を備えた単層RNNを、重み付き言語認識機として形式化すること。
• 停止問題への還元を用いて、RNNにおける整合性、同値性、最小化の決定不能性を証明すること。
• チューリングマシンをシミュレートするRNNを構築することで、決定不能問題からの還元を用いて決定不能性を示すこと。
• 整合性および多項式長制約のもとで最高重み付き文字列問題を分析し、NP完全性およびAPX-hard性を確立すること。
• RNNが文字列に実数値の重みを割り当て、合計重みをトークン予測の積として計算する重み付き言語モデルを用いること。
• 既知の決定不能問題（例：停止問題）および複雑性クラス（例：NP完全性）からの還元を適用し、理論的限界を確立すること。

実験結果

リサーチクエスチョン

• RQ1 RNNによって計算された重み付き言語の整合性は決定可能か？
• RQ2 RNNが認識する重み付き言語における最高重み付き文字列を正確かつ効率的に計算できるか？
• RQ3 2つのRNNがすべての文字列に対して同一の重みを割り当てるかどうか、すなわち同値性は決定可能か？
• RQ4 RNNの隠れニューロン数を、言語認識行動を維持したまま正確に最小化できるか？
• RQ5 解の長さが多項式で制限される場合、最高重み付き文字列を求める計算複雑性は何か？

主な発見

• RNNによって計算される重み付き言語の整合性は決定不能であり、すべての文字列における合計重みが1に合計されるかどうかを検証するアルゴリズムは存在しない。
• 2つのRNNの同値性は決定不能であり、停止問題への還元により示される。
• 有理数重みおよびReLU活性化を前提としても、RNNの隠れニューロン数の最小化は決定不能である。
• 整合性を持つRNNに対しては、最高重み付き文字列問題は決定可能であるが、その解の長さは任意の計算可能上限を超える可能性がある。
• 多項式長制約のもとでは、最高重み付き文字列問題はNP完全かつAPX-hardであることが示され、本質的な非効率性が裏付けられる。
• これらの結果は、自然言語処理システムにおいてビームサーチやグリーディデコードなどのヒューリスティックおよび近似手法が広く用いられる正当性を裏付けている。