[論文レビュー] Verb Argument Structure Alternations in Word andSentence Embeddings

Katharina Kann, Alex Warstadt+2 more|arXiv (Cornell University)|Jan 1, 2019

Natural Language Processing Techniques参考文献 37被引用数 30

ひとこと要約

本稿では、語と文の埋め込み表現が動詞の語構造の微細な句構造的違いを捉えられるかを調査する。FAVA（文レベル）とLaVA（語レベル）という2つの新しいデータセットを用いて、モデルが妥当な動詞フレームの組み合わせと不適切な組み合わせを分類できるかを検証した。その結果、性能はア小節の種類によって異なることが判明し、文の埋め込み表現では語の埋め込み表現に存在する一部の情報が失われることがわかった。

ABSTRACT

Verbs occur in different syntactic environments, or frames. We investigate whether artificial neural networks encode grammatical distinctions necessary for inferring the idiosyncratic frame-selectional properties of verbs. We introduce five datasets, collectively called FAVA, containing in aggregate nearly 10k sentences labeled for grammatical acceptability, illustrating different verbal argument structure alternations. We then test whether models can distinguish acceptable English verb-frame combinations from unacceptable ones using a sentence embedding alone. For converging evidence, we further construct LaVA, a corresponding word-level dataset, and investigate whether the same syntactic features can be extracted from word embeddings. Our models perform reliable classifications for some verbal alternations but not others, suggesting that while these representations do encode fine-grained lexical information, it is incomplete or can be hard to extract. Further, differences between the word- and sentence-level models show that some information present in word embeddings is not passed on to the down-stream sentence embeddings.

研究の動機と目的

• ニューラルネットワークの語と文の埋め込み表現が、動詞フレーム選択のための文法的違いを表現しているかどうかを調査すること。
• 文の埋め込み表現のみで、妥当な動詞フレームの組み合わせと不適切な組み合わせを分類できるかどうかを評価すること。
• 語レベルと文レベルの埋め込み表現の間で、文法的特徴を捉える際の情報保持度を比較すること。
• どの種類の動詞語構造の変化が埋め込み表現からより予測可能であるかを特定すること。

提案手法

• 5つの動詞語構造変化にわたる文の文法的受容性をラベル付けした約10,000文のデータセットであるFAVAを構築した。
• 語レベルの対応データセットとしてLaVAを構築し、語の埋め込みと文の埋め込みの比較を可能にした。
• 文の埋め込み表現を用いて、動詞フレームの組み合わせの受容性を予測する分類モデルを訓練した。
• 語の埋め込み表現を用いて、類似した文法的特徴が語レベルでも抽出可能かどうかを評価する平行なモデルを訓練した。
• 語レベルと文レベルの両方のモデルからの一貫した証拠を用いて、表現の質と情報漏洩の有無を評価した。
• 異なるア小節の種類ごとにモデルの性能を評価し、表現の完全性のパターンを特定した。

実験結果

リサーチクエスチョン

• RQ1 文の埋め込み表現は、さまざまな文法的構造の変化において、妥当な動詞フレームの組み合わせを信頼性高く分類できるか？
• RQ2 どの程度まで語の埋め込み表現がフレーム選択に必要な文法的特徴を表現しているか？
• RQ3 同じア小節において、語レベルのモデルと文レベルのモデルの分類性能に差があるか？
• RQ4 どの種類の動詞語構造の変化がニューラル埋め込み表現によってより効果的に捉えられているか？
• RQ5 語の埋め込み表現に含まれる情報は、その後続の文の埋め込み表現に保持されているのか、それとも集約の過程で失われているのか？

主な発見

• 一部の動詞語構造の変化ではモデルが信頼性のある分類性能を示すが、他の変化ではそうではないため、埋め込み表現に文法的違いが完全に表現されていないことが示唆された。
• 性能はア小節の種類によって顕著に異なるため、埋め込み表現にすべての文法的パターンが均等に表現されているわけではないことが示された。
• 特定のア小節において、語レベルのモデルが文レベルのモデルを上回る性能を示したため、文の埋め込み表現が一部の語の文法的情報を失う、あるいはぼかす可能性があることが示唆された。
• 本研究では、語の埋め込み表現に存在する情報が、文の埋め込み表現に常に保持されているわけではないことが明らかになった。これは、集約の過程で情報損失が生じる可能性があることを示している。
• 語レベルと文レベルの両方のモデルからの一貫した証拠が、埋め込み表現が微細な語彙的情報を表現しているものの、それが不完全で文脈依存的であるという結論を支持した。
• 結果から、現在のニューラルネットワーク表現は特定の文法的パターンに敏感であるが、すべての動詞フレームの変化に一般化できないことが示唆された。