[論文レビュー] Representing Verbs with Rich Contexts: an Evaluation on Verb Similarity

Emmanuele Chersoni, Enrico Santus+3 more|arXiv (Cornell University)|Jul 7, 2016

Neurobiology of Language and Bilingualism参考文献 22被引用数 1

ひとこと要約

本稿では、文における共起する依存関係（句の構造）を用いて動詞を表現する分布的意味モデルを提案する。単一の語ではなく、構造化された文法的依存関係としての文脈をモデル化することで、より豊かな意味的関係を捉え、小規模なコーパスでも従来の単一依存関係モデルと同等またはそれ以上の性能を達成し、データのスパarsity問題を効果的に軽減する。

ABSTRACT

Several studies on sentence processing suggest that the mental lexicon keeps track of the mutual expectations between words. Current DSMs, however, represent context words as separate features, thereby loosing important information for word expectations, such as word interrelations. In this paper, we present a DSM that addresses this issue by defining verb contexts as joint syntactic dependencies. We test our representation in a verb similarity task on two datasets, showing that joint contexts achieve performances comparable to single dependencies or even better. Moreover, they are able to overcome the data sparsity problem of joint feature spaces, in spite of the limited size of our training corpus.

研究の動機と目的

• 豊富な連携文脈（語ウィンドウなど）を用いる分布的意味モデル（DSM）におけるデータスパarsity問題を解決すること。
• イベント構造における項同士の依存関係を捉えることで、動詞類似度モデリングを向上させること。
• 構文的に構造化された連携文脈が、従来の袋--of-wordsモデルや単一依存関係DSMを上回るかを検証すること。
• 異なるコーパスサイズと次元数の下での連携文脈表現のロバストネスを評価すること。
• 完全な語ウィンドウの代わりに、より抽象的かつスケーラブルな代替手段として構文的依存関係を用いる可能性を検討すること。

提案手法

• モデルは、解析済み文から抽出された構文的依存関係の組み合わせ（例：主語-動詞-目的語の三つ組）を動詞の文脈として定義する。
• 各動詞は、構文的依存関係の三つ組を特徴として持ち、頻度または確率を値として持つベクトルで表現される。
• 比較のため、袋--of-wordsベースライン、単一依存関係特徴、および連携依存関係特徴を用いる。
• 次元削減と一般化の向上のため、特異値分解（SVD）を適用する。
• 依存関係解析を活用することで、項間の関係的構造をエンコードし、意味的依存関係を保持する。
• 評価は、動詞類似度データセット2つ（VerbSim および SimLex-999 の動詞サブセット）を用い、指標としてスピアマン順位相関を用いる。

実験結果

リサーチクエスチョン

• RQ1 構文的連携文脈は、従来の袋--of-wordsモデルや単一依存関係DSMを上回る性能を発揮するか？
• RQ2 連携文脈表現は、小規模コーパスにおけるデータスパarsity問題を軽減するか？
• RQ3 連携文脈の性能は、異なるベクトル空間次元数およびSVD次元削減レベルでどのように変化するか？
• RQ4 コーパスサイズが限られた状況下で、連携文脈モデルはウィンドウベースモデルよりもロバストか？
• RQ5 独立した特徴と比較して、構文的連携文脈は主題的適合性やイベントレベルの知識をよりよく捉えられるか？

主な発見

• 連携文脈ベースのDSMは、100K次元とSVDのk=200で、VerbSimで0.607のスピアマン相関を達成し、他のすべてのモデルを上回った。
• SimLex-999の動詞サブセットでは、100K次元とk=200で0.283の相関を記録し、テストされたすべてのモデルの中で最高となった。
• 比較的小規模なコーパス（RCV1）でも、複数のパrameter設定において、単一依存関係モデルや袋--of-wordsモデルと同等またはそれ以上の性能を示した。
• SVDの次元削減により性能が向上し、両データセットでk=200が最良の結果をもたらした。
• 連携文脈モデルは、特に高次元において、袋--of-wordsモデルよりも高い安定性と優れた性能を示した。
• 結果から、構文的連携文脈は完全な語ウィンドウの代替として実用的かつ効果的であることが示された。データスパarsityを回避しつつ、意味的豊かさを保持できる。