[論文レビュー] Inducing Regular Grammars Using Recurrent Neural Networks

Mor Cohen, Avi Caciularu+2 more|arXiv (Cornell University)|Oct 28, 2017

Natural Language Processing Techniques参考文献 15被引用数 14

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）を用いてラベル付き文字列データから正規文法を誘導するための新規手法を提案する。RNNを訓練してターゲットとなる正規言語に属するか否かを文字列分類させ、その後、RNNの連続的隠れ状態を教師なしクラスタリングすることで有限状態オートマトンを抽出する。主な貢献は、事前の仮定なしにクラスタ数を自動的に特定する状態量子化技術であり、これは、循環的状態遷移を学習するRNNでさえも、高精度で最小化された決定的有限オートマトン（DFA）を再構築可能にすることを可能にする。

ABSTRACT

Grammar induction is the task of learning a grammar from a set of examples. Recently, neural networks have been shown to be powerful learning machines that can identify patterns in streams of data. In this work we investigate their effectiveness in inducing a regular grammar from data, without any assumptions about the grammar. We train a recurrent neural network to distinguish between strings that are in or outside a regular language, and utilize an algorithm for extracting the learned finite-state automaton. We apply this method to several regular languages and find unexpected results regarding the connections between the network's states that may be regarded as evidence for generalization.

研究の動機と目的

• 正規文法の構造に関する事前の仮定なしに、ポジティブおよびネガティブな文字列例から一般用途の正規文法を誘導する手法の開発。
• RNNが正規言語の潜在的パターンを学習し、有限の訓練データを超えて一般化できるかどうかの調査。
• RNNの連続的隠れ状態をクラスタリングすることで、訓練済みRNNから決定的有限オートマトン（DFA）を抽出すること。
• 単純および複雑なパターン（例：品詞構造）を含む合成正規言語に対して、本手法の評価。
• RNN状態における発生的循環行動が、状態遷移に関する明示的教師信号がなくても一般化を示すかどうかの探求。

提案手法

• ターゲット正規言語への属性を示すラベルが付与された、15,000件の訓練、10,000件の検証、10,000件のテスト文字列で構成されるバランスの取れたデータセットを生成。
• 15エポックにわたり、文字列をポジティブまたはネガティブに分類するようRNNを訓練し、検証精度がほぼ完璧（約99–100％）に達する。
• 推論段階で、すべての入力文字列に対するRNNの隠れ状態を抽出し、ネットワーク内部状態の連続的ベクトル表現を取得。
• クラスタリングアルゴリズム（例：k-means）を適用して類似したRNN状態をグループ化し、事前の知識なしに最適なクラスタ数を決定するヒューリスティックを用いる。
• RNNの状態遷移に基づいて遷移を定義し、分類結果に基づいて受容状態をラベル付けすることで、クラスタリングされた状態からDFAを構築。
• 標準的な最小化アルゴリズムを用いて、得られたDFAを最小化し、コンactかつ同等のオートマトンを取得。

実験結果

リサーチクエスチョン

• RQ1 RNNが文法構造に関する事前の仮定なしに、文字列分類の学習のみで正規言語の潜在的構造を学習できるか？
• RQ2 RNNの連続的隠れ状態に循環が生じるということは、状態遷移に関する明示的教師信号がなくても、任意の長さのシーケンスへの一般化を示唆するか？
• RQ3 RNN状態のクラスタリングが、ターゲット言語を正確に表現する有限状態オートマトンを効果的に回復できるか？
• RQ4 RNNがターゲット言語のランダムおよび不文法的バリエーションを含むデータで訓練された場合、抽出されたDFAはノイズや分布シフトに対してどれほど頑健か？
• RQ5 DFAの誤り状態を用いて、標的のデータ拡張のための新しい訓練例を生成するにはどの程度有効か？

主な発見

• RNNは、合成正規言語タスクのすべてで検証精度がほぼ完璧（約99–100％）に達し、強力なパターン学習能力を示した。
• 本手法は、ターゲット言語と高い正確性で一致するDFAを成功裏に再構築した。特に、品詞構造を模倣した正規表現では99.6％の正確性を達成した。
• RNNは予期しない循環をその連続的隠れ状態で示した—同じ状態ベクトルを複数回再訪問した—これは、連続的状態空間にかかわらず、無限長シーケンスへの一般化を示唆している。
• クラスタリングに基づく量子化手法により、衝突のない遷移が得られた。これは、同じクラスタに属する状態が入力遷移に対して類似した振る舞いを示すことを意味し、クラスタリングの表現的整合性を裏付けた。
• 抽出されたDFAの誤り状態は、ポンピング補題により無限個の誤分類文字列クラスに対応しており、ネットワーク自身の誤りから新しい訓練例を生成することで標的のデータ拡張が可能であることを示した。
• RNNの連続的状態空間は、微小な摂動に対しても頑健であることが判明した。近接する状態は類似した遷移を生成したため、クラスタリング手法の妥当性を支持する。