[論文レビュー] The Neural Network Pushdown Automaton: Model, Stack and Learning Simulations

Guo-Zheng Sun, C. Lee Giles+2 more|arXiv (Cornell University)|Nov 15, 2017

Machine Learning and Algorithms被引用数 15

ひとこと要約

本稿では、再帰的ニューラルネットワークと連続的で微分可能なスタックを組み合わせることで、決定的文脈自由文法を学習するニューラルネットワーク・プッシュダウンオートマトン（NNPDA）を提案する。勾配降下法により結合誤差関数を最適化することで、ネットワークとスタック操作を同時に学習し、量子化によって離散的PDAを抽出する。主な結果として、抽出されたPDAは、1^n0^n や回文といった文法に対して、任意の長さの未観測文字列を正確に認識でき、元の文法のPDAと完全に一致する。

ABSTRACT

In order for neural networks to learn complex languages or grammars, they must have sufficient computational power or resources to recognize or generate such languages. Though many approaches have been discussed, one ob- vious approach to enhancing the processing power of a recurrent neural network is to couple it with an external stack memory - in effect creating a neural network pushdown automata (NNPDA). This paper discusses in detail this NNPDA - its construction, how it can be trained and how useful symbolic information can be extracted from the trained network. In order to couple the external stack to the neural network, an optimization method is developed which uses an error function that connects the learning of the state automaton of the neural network to the learning of the operation of the external stack. To minimize the error function using gradient descent learning, an analog stack is designed such that the action and storage of information in the stack are continuous. One interpretation of a continuous stack is the probabilistic storage of and action on data. After training on sample strings of an unknown source grammar, a quantization procedure extracts from the analog stack and neural network a discrete pushdown automata (PDA). Simulations show that in learning deterministic context-free grammars - the balanced parenthesis language, 1*n0*n, and the deterministic Palindrome - the extracted PDA is correct in the sense that it can correctly recognize unseen strings of arbitrary length. In addition, the extracted PDAs can be shown to be identical or equivalent to the PDAs of the source grammars which were used to generate the training strings.

研究の動機と目的

• 有限状態オートマトンを超える計算能力を有する再帰的ニューラルネットワークの拡張を図る。外部スタックを統合することで、計算パワーを強化する。
• ニューラルネットワークが、括弧の対応や回文といった決定的文脈自由文法を学習・推論できるようにすること。
• 連続的で勾配ベースの学習を可能にする、微分可能なスタック機構の開発。
• 学習済みアナログネットワークとスタックから、離散的で解釈可能なプッシュダウンオートマトン（PDA）を抽出し、記号的解析に活用すること。
• 抽出されたPDAが、訓練データとは異なる長大な文字列に対しても、元の文法のPDAと等価であることを検証すること。

提案手法

• 有限の再帰的ニューラルネットワークと連続的で微分可能なスタック記憶を組み合わせたハイブリッドNNPDAモデルを提案する。
• スタック操作（プッシュ、ポップ、ノーオプ）を連続的かつ微分可能に設計し、勾配ベースの学習を可能にするアナログスタックを構築する。
• ニューラルネットワークの状態遷移学習とスタック操作学習を結合する誤差関数を定義する。
• リアルタイム再帰的学習（RTRL）を用いて、ネットワーク重みおよびスタックパラメータに関する誤差の勾配を計算する。
• 学習後、量子化手順を適用してアナログスタックおよびネットワークを離散的PDAに変換する。
• スタックダイナミクスとシグモイド活性化関数の導関数に基づいて勾配更新を導出し、短い文字列または飽和した操作値の条件下で有効な近似を適用する。

実験結果

リサーチクエスチョン

• RQ1 連続的スタックを備えたニューラルネットワークは、1^n0^n や回文といった決定的文脈自由文法を学習できるか？
• RQ2 微分可能なスタック上で勾配降下法を用いて、ニューラルネットワークの状態とスタック操作を共同で最適化することは可能か？
• RQ3 学習済みアナログNNPDAから、信頼性高く離散的で解釈可能なPDAを抽出できるか？
• RQ4 抽出されたPDAは、ターゲット文法に由来する未観測の任意長の文字列を正しく認識できるか？
• RQ5 抽出されたPDAは、訓練データの生成に使われた元の文法のPDAと等価であるか？

主な発見

• NNPDAは、1^n0^n の対応括弧言語や決定的回文といった決定的文脈自由文法を正しく学習した。
• 学習後、量子化手順により抽出された離散的PDAは、任意の長さの未観測文字列を正しく認識した。
• 抽出されたPDAは、訓練データの生成に使われた元の文法のPDAと同一または同等であった。
• モデルは、学習中に観測されたものより長い文字列に対しても正しく一般化でき、高い頑健性を示した。
• 微分可能なスタックを用いた勾配ベースの学習により、ネットワーク状態とスタック操作の有効な共同学習が実現した。
• 理論的導出および近似（例：式A-13）は、文字列長が小さい、または操作値が飽和している条件下で妥当であることが検証された。