[論文レビュー] Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies

Tal Linzen, Emmanuel Dupoux+1 more|arXiv (Cornell University)|Nov 4, 2016

Topic Modeling参考文献 46被引用数 27

ひとこと要約

この論文は、明示的な句構造の監視なしに、長短記憶（LSTM）ネットワークが文法的に敏感な依存関係——特に英語の主語・動詞の数的一致——を学習できるかどうかを調査している。明示的な監視（数の予測と文法的整合性の判断）を用いることで、LSTMは簡単なケースでは高い正確性を達成するが、構造的に複雑な文、特に機能語が欠落している文では困難を示す。一方、言語モデル学習のみではこれらの依存関係を捉えられず、LSTMにおける文法的構造の学習には直接的な監視が不可欠であることが示された。

ABSTRACT

The success of long short-term memory (LSTM) neural networks in language processing is typically attributed to their ability to capture long-distance statistical regularities. Linguistic regularities are often sensitive to syntactic structure; can such dependencies be captured by LSTMs, which do not have explicit structural representations? We begin addressing this question using number agreement in English subject-verb dependencies. We probe the architecture's grammatical competence both using training objectives with an explicit grammatical target (number prediction, grammaticality judgments) and using language models. In the strongly supervised settings, the LSTM achieved very high overall accuracy (less than 1% errors), but errors increased when sequential and structural information conflicted. The frequency of such errors rose sharply in the language-modeling setting. We conclude that LSTMs can capture a non-trivial amount of grammatical structure given targeted supervision, but stronger architectures may be required to further reduce errors; furthermore, the language modeling signal is insufficient for capturing syntax-sensitive dependencies, and should be supplemented with more direct supervision if such dependencies need to be captured.

研究の動機と目的

• LSTMが明示的な句構造のアノテーションなしに、主語・動詞の一致のような構文的敏感な依存関係を学習できるかどうかを評価すること。
• 明示的な数の予測、文法的整合性の判断、言語モデル学習といった異なる学習目的が、構文的一般化に与える効果を評価すること。
• LSTMが構造的表現ではなく表面的ヒントに依存する失敗事例を特定すること。
• 言語モデル学習のみが、階層的な構文的依存関係を学習するのに十分かどうかを調査すること。

提案手法

• 大規模なWikipediaコーパス上でLSTMを訓練し、前件の名詞に基づいて動詞の数を予測する。
• 主語・動詞の一致のための明示的なターゲットラベルを用いた、監視付きの数の予測タスクを実施する。
• 中間の名詞が数が逆のもので4つ存在するなど、構文的複雑度が異なる保証付きのテストセットで性能を評価する。
• 数の予測、文法的整合性の判断、次単語予測の言語モデル学習の3つの訓練体制を比較する。
• 誤差パターンを分析し、機能語や構造的ヒントへの依存度を評価する。
• 活性化パターンの定性的分析を実施し、構文的表現の学習状態を評価する。

実験結果

リサーチクエスチョン

• RQ1 LSTMは明示的な構文的監視なしに、主語・動詞の数的一致を学習できるか？
• RQ2 数の予測のような強い監視タスクと、文法的整合性の判断のような弱い監視タスクの間で、性能にどのような差が生じるか？
• RQ3 言語モデル学習のみで、構文的敏感な依存関係を学習できるか？
• RQ4 どのような構文的構造がLSTMモデルの誤り率を高めるか？
• RQ5 LSTMが構文的構造ではなく、機能語のような表面的ヒントにどれほど依存しているか？

主な発見

• 数の予測タスクでは、簡単なケースで1%未満の誤差率を達成したが、数が逆の名詞が4つ中間にある難しいケースでは17%の誤差を示した。
• 機能語が欠落している場合、たとえば名詞＋名詞の複合語や省略された関係節では誤差率が著しく上昇し、表面的ヒントへの過剰依存が示された。
• 文法的整合性の判断タスクは、文全体のラベルのみを提供しており、違反する動詞を特定しないという点で、数の予測タスクと比較して誤差率の上昇はわずかであった。
• 明示的な文法的監視なしに言語モデル学習を実施した場合、難しい一貫性のないケースでは、ランダムに予測するよりも悪い結果となり、数の予測設定と比較して誤差率が5倍以上も高くなった。
• 最新の大規模言語モデルですら、構造的に無関係な最近の名詞に非常に敏感であることが確認され、言語モデルの目的だけでは構文的敏感な依存関係を捉えるには不十分であることが示された。
• 結果から、より強いアーキテクチャ的インダクティブバイアス、または明示的な監視と共同で訓練する必要があることが示唆された。