[論文レビュー] Representing Formal Languages: A Comparison Between Finite Automata and Recurrent Neural Networks

Joshua Michalenko, Ameesh Shah+4 more|arXiv (Cornell University)|Feb 27, 2019

Natural Language Processing Techniques被引用数 10

ひとこと要約

この論文は、再帰的ニューラルネットワーク（RNN）が正則言語を認識するために訓練された際、形式的文法的構造をどのように表現するかを調査する。本研究では、RNNの隠れ状態が最小決定的有限オートマトン（MDFA）の状態に直接対応するのではなく、MDFA状態をクラスタリングして得られる抽象化された「スーパーステート」に対応すると提案する。線形デコーダーを用いることで、RNN状態をこれらの抽象化に高い精度でマッピングでき、RNN表現と有限オートマトンの間には強い構造的対応関係があることが明らかになった。

ABSTRACT

We investigate the internal representations that a recurrent neural network (RNN) uses while learning to recognize a regular formal language. Specifically, we train a RNN on positive and negative examples from a regular language, and ask if there is a simple decoding function that maps states of this RNN to states of the minimal deterministic finite automaton (MDFA) for the language. Our experiments show that such a decoding function indeed exists, and that it maps states of the RNN not to MDFA states, but to states of an {\em abstraction} obtained by clustering small sets of MDFA states into "superstates". A qualitative analysis reveals that the abstraction often has a simple interpretation. Overall, the results suggest a strong structural relationship between internal representations used by RNNs and finite automata, and explain the well-known ability of RNNs to recognize formal grammatical structure.

研究の動機と目的

• 正則言語を学習する際、RNNが内部的にどのように形式的文法的構造を表現しているかを理解すること。
• RNNの隠れ状態が、正規化された最小決定的有限オートマトン（MDFA）の状態にデコード可能かどうかを調査すること。
• RNN状態をMDFA状態、またはそれらの抽象化にマッピングする単純なデコーダ関数が存在するかを調査すること。
• クラスタリングとデコーディング技術を用いて、RNN表現と有限オートマトンの間の構造的関係を分析すること。
• 得られた抽象化の解釈可能性と粗さが、言語的およびオートマトン理論的意味においてどのように評価されるかを検討すること。

提案手法

• 500個の正則言語（正規表現で定義）の正例と負例を用いてRNNを訓練する。
• 各言語に対して最小決定的有限オートマトン（MDFA）を構築し、基準となるモデルとする。
• MDFA状態に対して階層的クラスタリングを適用し、段階的な抽象化（より粗い状態のグループ化）を生成し、ダイアグラムとしてのデンドログラムを構築する。
• RNN隠れ状態をMDFAの抽象化された状態にマッピングする線形デコーダーを訓練し、各抽象化レベルでの精度を評価する。
• t-SNE可視化を用いて、RNN隠れ状態の幾何的構造を分析し、MDFA状態への割り当てと比較する。
• デコーディング精度と遷移精度を測定し、RNNの内部状態が抽象化されたオートマトン構造とどの程度一致しているかを評価する。

実験結果

リサーチクエスチョン

• RQ1 正則言語を学習するRNNの隠れ状態を、単純なデコーダ関数を用いて、その言語の最小決定的有限オートマトン（MDFA）の状態にマッピングできるか？
• RQ2 RNNの内部表現は、MDFA状態そのものと比べて、MDFA状態をクラスタリングして得られる「スーパーステート」により近いか？
• RQ3 線形デコーダーで十分な高いデコーディング精度が達成できるか、それとも非線形性が必要か？
• RQ4 MDFA状態をクラスタリングして得られる抽象化の解釈可能性はどの程度か？また、それらは意味的な言語的または構造的パターンを反映しているか？
• RQ5 抽象化の粗さ（すなわち、クラスタ数）がデコーディング精度に与える影響は何か？最適な抽象化レベルは何か？

主な発見

• 線形デコーダーを用いることで、MDFA状態をクラスタリングして得られる抽象化された状態へのRNN隠れ状態のマッピングが高く精度よく達成され、強い構造的整合性が示された。
• RNNの表現は、個々のMDFA状態にマッピングされるのではなく、MDFA状態の小さな集合をクラスタリングして得られる「スーパーステート」にマッピングされることが示され、抽象化が表現の中心的役割を果たしていることが示唆された。
• MDFA状態をクラスタリングして得られる抽象化は、しばしば直感的で解釈可能な意味を持つことが多く、たとえば[a-d]*のような同じ部分パターンを認識する状態をグループ化するなど、意味のある構造的パターンを反映している。
• デコーディング精度は抽象化の粗さとともに向上し、しきい値に基づく選択法により、高い精度を達成するのに十分な最小の抽象化レベルを特定できることがわかった。
• RNNは、文字列内の位置に関係なく、同じ部分パターンに対応する隠れ状態を共有することで、構造的抽象化の一種を学習している。
• MDFA状態の階層的クラスタリングの結果、RNNは連続する状態や同じ文法的役割を果たす状態を抽象化する傾向があることが明らかになり、表現学習における位置依存的および役割ベースの事前知識（プライア）が存在することが示唆された。