[論文レビュー] Verb Argument Structure Alternations in Word and Sentence Embeddings

Katharina Kann, Alex Warstadt+2 more|arXiv (Cornell University)|Nov 27, 2018

Natural Language Processing Techniques参考文献 35被引用数 13

ひとこと要約

本稿では、人工ニューラルネットワークからの単語および文埋め込みが、動詞が登場する文法的フレーム（動詞の項構造の変化）をどれだけ精細に表現しているかを調査する。FAVA（文レベル）およびLaVA（単語レベル）の2つの新しいデータセットを用いて、埋め込みに基づき文法的受容可能性を予測する分類器を訓練した。その結果、一部の変化（例：原因化・始動化）は信頼性を持って検出できるが、他の変化（例：スプレー・ロード）は困難であることが判明し、埋め込みに含まれる文法的知識が不完全または抽出が難しいことが示された。

ABSTRACT

Verbs occur in different syntactic environments, or frames. We investigate whether artificial neural networks encode grammatical distinctions necessary for inferring the idiosyncratic frame-selectional properties of verbs. We introduce five datasets, collectively called FAVA, containing in aggregate nearly 10k sentences labeled for grammatical acceptability, illustrating different verbal argument structure alternations. We then test whether models can distinguish acceptable English verb-frame combinations from unacceptable ones using a sentence embedding alone. For converging evidence, we further construct LaVA, a corresponding word-level dataset, and investigate whether the same syntactic features can be extracted from word embeddings. Our models perform reliable classifications for some verbal alternations but not others, suggesting that while these representations do encode fine-grained lexical information, it is incomplete or can be hard to extract. Further, differences between the word- and sentence-level models show that some information present in word embeddings is not passed on to the down-stream sentence embeddings.

研究の動機と目的

• 人工ニューラルネットワークの埋め込みが、動詞フレーム選択の文法的性質に必要な区別を表現しているかどうかを評価すること。
• 単語埋め込みが、動詞が参加できる文法的フレームを予測できるかどうかを調査すること。
• 文埋め込みが、文法的構造に基づいて動詞–フレームの組み合わせの受容可能性を分類できるかどうかを検証すること。
• 単語レベルと文レベルのモデルが、動詞項構造の変化をどれだけ正確に捉えられるかを比較すること。
• 単語埋め込みに含まれる文法的知識が、その後続の文埋め込みにどの程度保持されているかを評価すること。

提案手法

• 著者らは、文法的受容可能性をラベル付けした約10,000文のFABAデータセットを構築した。このデータセットは、5つの動詞項構造の変化（例：原因化・始動化、与格、スプレー・ロード、there挿入、反射代名詞）に焦点を当てている。
• LaVAデータセットは、単語レベルの評価を目的として構築され、Levin（1993）の動詞クラスに基づいて、単語埋め込みがフレーム適合性を予測できるかをテストする。
• 文埋め込みを用いて、文法的に受容可能か否かを区別する二値の受容可能性分類器を訓練した。
• 単語埋め込みを用いて、動詞が許容する文法的フレームを予測する多クラス分類器を訓練した。
• モデルの評価には、FABAおよびLaVAデータセットからのゴールドスタンダードのアノテーションを用い、分類性能を測定した。
• 異なる変化タイプ間での性能を比較することで、埋め込みにどの文法的構造がよりよく表現されているかのパターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みのみで、動詞の語彙的性質に基づき、それが参加できる文法的フレームを予測できるか？
• RQ2 主な動詞が複数のフレームに曖昧に属する場合でも、文埋め込みが動詞–フレームの組み合わせの文法的受容可能性を表現しているか？
• RQ3 どの動詞項構造の変化がニューラルネットワーク埋め込みによって最も信頼性高く検出可能であり、その理由は何か？
• RQ4 単語埋め込みに含まれる文法的情報が、その後続の文埋め込みにどの程度保持されているか？
• RQ5 文法的複雑さの違い（例：項の数）が、モデルが動詞フレームの変化を学習する能力に与える影響は何か？

主な発見

• モデルは、原因化・始動化やthere挿入といった変化に関して、受容性の分類を信頼性高く行っている。これらの変化は非及物文フレームを含む。
• スプレー・ロード変化は、データセット全体の半数以上を占めるにもかかわらず、最もモデルが学習しにくいものであった。これは、頻度の高いデータが必ずしも高い性能を保証しないことを示している。
• 変化タイプごとの性能に顕著な差が認められ、非及物文フレームは、他動詞や介詞句を含む多項フレームよりも検出が容易である。
• 特定の変化に関しては、単語レベルのモデルが文レベルのモデルよりも高い性能を示しており、単語埋め込みに含まれる一部の文法的情報が、文埋め込みに完全に伝達されていない可能性を示唆している。
• トレーニング例の数とモデルの性能との間に明確な相関は認められず、データ量が動詞フレーム変化の学習成功を決定づけないことが示された。
• 結果から、ニューラルネットワーク埋め込みは一部の精細な文法的知識を表現しているものの、それは不完全であり、すべての動詞変化に対して一様にアクセス可能ではないことが示唆された。