[論文レビュー] What Do Recurrent Neural Network Grammars Learn About Syntax?

Adhiguna Kuncoro, Miguel Ballesteros+4 more|arXiv (Cornell University)|Nov 17, 2016

Natural Language Processing Techniques参考文献 33被引用数 11

ひとこと要約

この論文は、解釈可能性を高めるためにモデルの部品を除去し、ゲート付きアテンション機構（GA-RNNG）を導入することで、再帰的ニューラルネットワーク文法（RNNG）がデータから学ぶ構文的知識を調査する。構文的構成関数がパフォーマンスに不可欠であることが判明し、主語がフレーズ表現において中心的な役割を果たしている。一方、非終端記号ラベルは最小限の寄与にとどまる。これは、文法的構造が主に主語に依存することを支持しており、アンサンブルを用いずに93.6 F1という最先端の構文解析性能を達成できることを示している。

ABSTRACT

Recurrent neural network grammars (RNNG) are a recently proposed probabilistic generative modeling family for natural language. They show state-of-the-art language modeling and parsing performance. We investigate what information they learn, from a linguistic perspective, through various ablations to the model and the data, and by augmenting the model with an attention mechanism (GA-RNNG) to enable closer inspection. We find that explicit modeling of composition is crucial for achieving the best performance. Through the attention mechanism, we find that headedness plays a central role in phrasal representation (with the model's latent attention largely agreeing with predictions made by hand-crafted head rules, albeit with some important differences). By training grammars without nonterminal labels, we find that phrasal representations depend minimally on nonterminals, providing support for the endocentricity hypothesis.

研究の動機と目的

• データからRNNGがどのような構文的知識を学ぶか、特にフレーズ構造と構成の観点から調査すること。
• モデルの除去と解釈可能性ツールを用いて、構文的表現に関する言語学的仮説（例：内因的構造、主語主義）を検証すること。
• GA-RNNGというゲート付きアテンション機構を導入することで、構成的部品がフレーズ表現にどのように寄与しているかを可視化し、RNNGの解釈可能性を向上させること。
• 非終端記号カテゴリーラベルがフレーズ表現において意味的な構文的情報を提供しているかどうかを評価すること。
• モデルの分析と最適化を通じて、教師ありフレーズ構造解析および従属構造解析で最先端のパフォーマンスを達成すること。

提案手法

• RNNGの構成関数を除去することで、構文解析および言語モデル性能に与える必要性を評価する。
• RNNGの構成関数にゲート付きアテンション機構（GA-RNNG）を導入し、複数の構成要素にわたるアテンション重みを分散可能にする。
• GA-RNNGのアテンションベクトルを用いて、学習された主語主義と手作業による主語ルールを比較し、複数主語構造の分析を行う。
• 非終端記号ラベルを含まないRNNGの変種を訓練し、フレーズ表現がカテゴリーラベルに依存しているかどうかを評価する。
• t-SNEを用いて学習されたフレーズ表現を可視化し、PPやSBARなどの文法的カテゴリのクラスタリングパターンを検討する。
• Penn Treebank（PTB）を用いて教師あり構文解析および従属構造解析のモデルを訓練・評価し、F1、UAS、LASスコアを報告する。

実験結果

リサーチクエスチョン

• RQ1 RNNGにおいて構成関数は、高い構文解析および言語モデル性能を達成するためにどの程度重要であるか？
• RQ2 RNNGはどの程度主語主義を学習しており、そのアテンション機構は言語学的主語ルールとどの程度整合しているか？
• RQ3 非終端記号カテゴリーラベルは、フレーズ表現において意味的な構文的情報を提供しているのか、それとも冗長であるのか？
• RQ4 RNNGは、明示的なラベル監視なしに、括弧構造（bracketing）だけからNP、VP、PPなどの文法的カテゴリを発見できるか？
• RQ5 文法的構成要素の表現はどのようにクラスタリングされ、どのような意味的差異を捉えているか？

主な発見

• 構成関数はRNNGのパフォーマンスにとって不可欠である。この関数を除去すると、構文解析精度が著しく低下し、構文的構造をモデル化する役割を果たしていることが確認された。
• GA-RNNGのアテンション機構は言語学的主語ルールと大部分で整合しており、フレーズの主語を高い精度で特定している。ただし、アテンションはしばしば複数の構成要素に分散されている。
• フレーズ表現は非終端記号ラベルにほとんど依存せず、構文的構造が主に主語に依存するという内因的構造仮説を支持している。
• 非終端記号ラベルを含まないモデルでさえも、高いパフォーマンスを達成しており、括弧構造と構成が、効果的な構文的表現に十分であることが示された。
• GA-RNNGは意味的差異を意味的に意味のある形で学習しており、『because』 や『of』といった語に基づいてPPやSBARがクラスタリングされ、因果関係や所有の意味的役割を反映している。
• アンサンブルを用いずに、1つのRNNG変種が、PTBにおける最先端の教師あり構文解析（93.6 F1）および高い従属構造解析スコア（95.8 UAS、94.6 LAS）を達成しており、最小限のアーキテクチャ的複雑性で強力なパフォーマンスを示している。