[論文レビュー] A Survey of Neural Networks and Formal Languages

Joshua M. Ackerman, George Cybenko|arXiv (Cornell University)|Jun 2, 2020

Natural Language Processing Techniques参考文献 19被引用数 5

ひとこと要約

本調査は、畳み込みニューラルネットワーク（CNNs）、再帰ニューラルネットワーク（RNNs）、トランスフォーマー、メモリ拡張ニューラルネットワーク（MANNs）などの現代的なニューラルネットワークアーキテクチャの理論的および実験的性能を、有限精度と線形計算時間という現実的な制約のもとで、形式的言語を認識・生成できるかについて調査している。その結果、標準的なアーキテクチャ（例：トランスフォーマー）は高い状態複雑性を示すが、漸近的表現力は限定的である一方、微分可能なメモリを備えたMANNs（例：ニューラルスタック）は、D₁–D₆のような文脈自由および文脈依存言語でほぼ完璧な正確性を達成しており、形式的言語認識能力に優れていることが示された。

ABSTRACT

This report is a survey of the relationships between various state-of-the-art neural network architectures and formal languages as, for example, structured by the Chomsky Language Hierarchy. Of particular interest are the abilities of a neural architecture to represent, recognize and generate words from a specific language by learning from samples of the language.

研究の動機と目的

• 有限精度と線形時間複雑性といった実用的制約のもとで、最先端のニューラルネットワークアーキテクチャの形式的言語認識能力を理解すること。
• CNNs、RNNs、トランスフォーマー、メモリ拡張ニューラルネットワーク（MANNs）などのモデルが、チョムスキー階層に属する言語をどれだけうまく学習・表現できるかを評価すること。
• 理論的分析と実験的評価を組み合わせて、さまざまなアーキテクチャの文脈自由および文脈依存言語の認識における表現力を比較すること。
• 未知の文法からの言語生成におけるニューラルネットワークの生成能力を調査すること、特にSafeDocsプロジェクトが小規模な肯定例から言語生成に注力している文脈において。

提案手法

• 本研究は、入力制限・有限精度ニューラルネットワーク（IBFP-NNs）の枠組みを採用し、有限精度と線形時間複雑性という現実的制約下でのネットワークモデルを定式化している。
• 神経系列受容体（neural sequence acceptor）の概念を用い、入力系列（1-of-K符号化）を言語への属する確率にマップするパラメータ化された関数として定義している。
• 理論的分析では、ネットワークパラメータを任意に大きくできる漸近的受容（asymptotic acceptance）に注目し、表現力の上限を評価している。
• 実験的評価では、微分可能なスタックおよびテープ操作を実装するニューラルスタックやベビーネンタルマシン（Baby-NTMs）などのアーキテクチャを用い、メモリアクセスと言語モデリングの向上を図っている。
• 本研究は先行研究を基に、カウンタ言語や文脈自由言語の変種であるD₁–D₆といったベンチマーク形式的言語におけるアーキテクチャの比較を実施している。
• 外部メモリ構造を備えたMANNsと標準的なRNNとの間で、言語認識タスクにおける性能を比較することで、メモリ拡張の影響を分析している。

実験結果

リサーチクエスチョン

• RQ1 CNNs、RNNs、トランスフォーマーなどの標準的ニューラルネットワークアーキテクチャは、現実的な計算制約のもとでチョムスキー階層に属する言語を認識できるか？
• RQ2 微分可能なメモリ（例：ニューラルスタック）の追加は、ニューラルネットワークの形式的言語認識能力にどのように影響するか？
• RQ3 有限精度と線形時間制約のもとで、ニューラルターミナルマシン（NTM）やベビーネンタルマシン（Baby-NTMs）といったMANNsは、D₆のような文脈依存言語をどれくらい正確に認識できるか？
• RQ4 より理論的な柔軟性を持つにもかかわらず、より複雑なメモリ機構（例：Baby-NTM）を備えたMANNsが、単純な構造（例：ニューラルスタック）よりも性能が劣る理由は何か？
• RQ5 漸近的分析の結果は、ノイズが多いか現実世界のデータ環境における実用的ニューラルネットワーク性能にどのような意味を持つのか？

主な発見

• ニューラルスタックは、D₁、D₂、D₃、D₆の言語学習において99%〜100%の正確性を達成しており、文脈自由および複雑なカウンタ言語において優れた性能を示している。
• 理論的分析により、フィードフォワードコントローラを備えたニューラルスタックは、状態複雑性が2^Θ(n)であることが示され、指数関数的表現力を有していることが判明した。
• より理論的な柔軟性を有するにもかかわらず、ベビーネンタルマシン（Baby-NTM）は同じ言語認識タスクにおいてニューラルスタックよりもわずかに性能が劣っており、複雑さと性能の実験的トレードオフが顕在化している。
• 標準アーキテクチャ（例：トランスフォーマー）は高い状態複雑性を示すが、漸近的表現力は限定的であるため、その成功は形式的言語認識能力よりもアーキテクチャの誘導的バイアスに起因している可能性がある。
• 本研究は、漸近的分析が理論的には楽観的でないものの、ノイズのあるデータセットにおける実験的挙動とよく一致しており、実用的ベンチマークとしての有効性を裏付けた。
• メモリ拡張ネットワーク（例：ニューラルスタック）は、無限の深さを必要とする言語認識タスクにおいて、標準的なRNNやトランスフォーマーを著しく上回っている。