[論文レビュー] Can LSTM Learn to Capture Agreement? The Case of Basque

Shauli Ravfogel, Francis M. Tyers+1 more|arXiv (Cornell University)|Sep 11, 2018

Natural Language Processing Techniques参考文献 16被引用数 10

ひとこと要約

この論文は、格助詞が作動的・直行的配置を示し、複雑な屈折を持つバスク語において、LSTMが文法的一致を暗黙的に学習できるかを調査している。接尾語回復および動詞数予測というタスクで学習させたが、英語と比較して性能が著しく低く、深層的な文法的構造ではなく局所的なヒューリスティクスに依存している。これは、バスク語の一致がニューラルモデルの文法的一般化能力を評価するための困難なベンチマークである可能性を示唆している。

ABSTRACT

Sequential neural networks models are powerful tools in a variety of Natural Language Processing (NLP) tasks. The sequential nature of these models raises the questions: to what extent can these models implicitly learn hierarchical structures typical to human language, and what kind of grammatical phenomena can they acquire? We focus on the task of agreement prediction in Basque, as a case study for a task that requires implicit understanding of sentence structure and the acquisition of a complex but consistent morphological system. Analyzing experimental results from two syntactic prediction tasks -- verb number prediction and suffix recovery -- we find that sequential models perform worse on agreement prediction in Basque than one might expect on the basis of a previous agreement prediction work in English. Tentative findings based on diagnostic classifiers suggest the network makes use of local heuristics as a proxy for the hierarchical structure of the sentence. We propose the Basque agreement prediction task as challenging benchmark for models that attempt to learn regularities in human language.

研究の動機と目的

• LSTMがバスク語の一致予測を通じて階層的な文法的構造を暗黙に学習できるかを評価すること。
• 英語および他のインド・ヨーロッパ語の先行研究と比較して、バスク語の一致タスクにおける性能を評価すること。
• 診断分類器がLSTMの隠れ状態にエンコードされた文法的一般化を特定できるかを調査すること。
• バスク語の一致予測を、ニューラルシーケンスモデルの文法的能力を評価するための挑戦的なベンチマークとして提案すること。

提案手法

• 著者らは、無注釈のバスク語コーパスを用いて一致データを収集し、動詞数予測および接尾語回復の2つのタスクを設計した。
• これらのタスクで双方向LSTM（BiLSTM）を学習させ、正解率という指標で性能を評価した。
• 最終隠れ状態を用いて、2層の隠れ層を持つ多層パーセプトロン（MLP）による診断分類器を訓練し、格、数、品詞（POS）、依存関係を予測した。
• 正しく予測された場合と誤って予測された場合の両方でモデルを評価し、予測が失敗しても文法的情報が隠れ状態にエンコードされているかを検証した。
• 状態表現抽出および診断学習には、バスク語のUniversal Dependenciesデータセットを用いた。
• 曖昧な接尾語や、一致の引き寄せ要因の数を変化させた制御された設定を含む実験により、モデルの頑健性を評価した。

実験結果

リサーチクエスチョン

• RQ1 格助詞が作動的・直行的配置を示し、豊富な屈折を持つバスク語において、LSTMは英語と同等に一致のパターンを学習できるか？
• RQ2 BiLSTMモデルは、一致予測において、階層的な文法的構造ではなく、局所的な手がかりにどれほど依存しているか？
• RQ3 接尾語回復タスクで学習したモデルの隠れ状態に、どのような文法的一般化（例：格、数、品詞）がエンコードされているか？
• RQ4 一致予測の性能が低い場合、隠れ表現に潜在的な文法的情報がエンコードされていないと相関するか？
• RQ5 モデルが誤った予測をした場合でも、診断分類器が文法的規則性を検出できるか？

主な発見

• BiLSTMモデルは動詞数予測で56.2%、接尾語回復で62.1%の正解率にとどまり、英語の類似タスクの性能と比べて顕著に低い。
• 一致の引き寄せ要因の数が増えると性能が低下し、4つの引き寄せ要因ではランダムより下がるようになり、局所的なヒューリスティクスに依存していることが示された。
• 正しく予測された単語では、診断分類器が数の予測で95.0%、格の予測で93.5%の正解率を達成しており、文法的特徴の強いエンコードが確認された。
• 誤って予測された単語に対しても、診断モデルは数の予測で74.7%、格の予測で69.7%の正解率を達成しており、部分的な文法的情報がエンコードされていることが示された。
• モデルは形態文法的配置、数、品詞といった一般化を学習しており、診断分類器は全単語で品詞予測で87.5%、格予測で85.7%の正解率を達成した。
• 接尾語回復の成功は、モデルが最も近い動詞を推論できるかどうかと相関しており、BiLSTMの予測が正しければ線形モデルの成功確率が14%上昇した。