[論文レビュー] Concrete Sentence Spaces for Compositional Distributional Models of Meaning

Edward Grefenstette, Mehrnoosh Sadrzadeh+3 more|arXiv (Cornell University)|Dec 31, 2010

Natural Language Processing Techniques被引用数 13

ひとこと要約

本稿では、構文的役割を付加した名詞空間のテンソル積を用いて文の意味を組み立て的に分布的モデルで表現する、具体的でコーパスに基づくベクトル空間構成法を提案する。すべての文を共有のベクトル空間に埋め込むことで、内積による直接的な比較が可能となり、意味的に類似した文同士では高い類似度スコア（例：0.961）を達成し、動詞の意味が異なる文（例：'catch a ball' と 'catch a disease'）では完全な意味の区別（類似度 = 0）が可能になる。

ABSTRACT

Coecke, Sadrzadeh, and Clark (arXiv:1003.4394v1 [cs.CL]) developed a compositional model of meaning for distributional semantics, in which each word in a sentence has a meaning vector and the distributional meaning of the sentence is a function of the tensor products of the word vectors. Abstractly speaking, this function is the morphism corresponding to the grammatical structure of the sentence in the category of finite dimensional vector spaces. In this paper, we provide a concrete method for implementing this linear meaning map, by constructing a corpus-based vector space for the type of sentence. Our construction method is based on structured vector spaces whereby meaning vectors of all sentences, regardless of their grammatical structure, live in the same vector space. Our proposed sentence space is the tensor product of two noun spaces, in which the basis vectors are pairs of words each augmented with a grammatical role. This enables us to compare meanings of sentences by simply taking the inner product of their vectors.

研究の動機と目的

• コンポジショナル分布的意味論の文ベクトル空間を、具体的かつコーパスに基づいて構築するための方法を提供すること。
• すべての文を共有のベクトル空間に埋め込むことで、文の意味を直接比較可能にする。
• 特に文法的役割を基本ベクトルに組み込むことで、構文的および意味的組み立て性を捉える。
• ベクトル空間内の文脈的性質の差異を活用し、多義語（例：'catch' が 'つかむ' と '感染する' の意味で）を効果的に区別する。
• 真理理論的意味論とコーパスベースの意味論を統合し、pregroup grammar とテンソル代数を介して文法構造に基づいてベクトルの合成を定義する。

提案手法

• 基本ベクトルが語のペアに文法的役割を付加した形（例：'arg-round', 'obj-buys'）を持つ2つの名詞空間のテンソル積として文空間を構築する。
• コーパス内での共起パターンに基づいて語の意味ベクトルを割り当て、重みはその分布的性質と文法的役割を反映する。
• 動詞を合成型（例：他動詞を $n^r s n^l$ として表す）として $N \otimes S \otimes N$ 内のテンソルとして表現し、基本ベクトルが主語、動詞、目的語の役割を符号化する。
• 語のベクトルのテンソル積に、文法構造（pregroup簡約を介して）を適用することで、文の意味を合成し、単一の文ベクトルを生成する。
• 文の類似度を、文ベクトルの内積を用いて計算し、頑健な比較のためのコサイン正規化を施す。
• 選択的好みと文脈的性質（例：'ball' は 'arg-round' に関連し、'disease' は 'arg-contagious' に関連）を用いて、文脈における語の意味の区別を行う。

実験結果

リサーチクエスチョン

• RQ1 コンポジショナル分布的意味論における文の意味のための具体的でコーパスに基づくベクトル空間を、どのように構築できるか？
• RQ2 文の意味が共有のベクトル空間に埋め込まれる場合、類似度の内積による類似度が意味的類似度を捉えられるか？
• RQ3 文法的役割を基本ベクトルに組み込むことで、意味の組み立て表現がどの程度向上するか？
• RQ4 モデルは文脈的および分布的文法的文脈に基づいて、'catch' のような多義語を効果的に区別できるか？
• RQ5 モデルは動詞の及物的と非及物的用法の微妙な意味的違いをどの程度捉えられるか？

主な発見

• 'dogs chase cats' と 'fluffy dogs chase fluffy cats' の間でコサイン類似度が 0.961 に達し、語彙的修飾があっても意味的類似度が高く保たれている。
• 'dogs catch a ball' と 'dogs catch a disease' の間では内積が 0 でコサイン類似度が 0 となり、文脈的性質が重複しないため、完全な意味の区別が達成された。
• 文空間の構成により、内積による直接的な文の意味比較が可能になり、別個の類似度関数の必要がなくなる。
• 文法的役割を基本ベクトルに組み込むことで、構文構造の正確な符号化が可能となり、組み立て性と意味の区別が向上した。
• モデルは意味の組み立て的性質を効果的に捉えており、ベクトルの合成が語彙的意味と文法的構造の両方を反映している。
• テンソル空間を $N \otimes N \otimes N$ に拡張することで、二目的動詞などのより複雑な文型への拡張が可能である。