[論文レビュー] Experimenting with Transitive Verbs in a DisCoCat

Edward Grefenstette, Mehrnoosh Sadrzadeh|arXiv (Cornell University)|Jul 15, 2011

Natural Language Processing Techniques参考文献 25被引用数 49

ひとこと要約

本稿は、DisCoCatフレームワーク内での他動詞ベクトルを $ r \times r $ 行列に符号化するための3つの手法を調査し、文の類似度の曖昧除去タスクにおける性能を評価している。主な発見は、他動詞ベクトルを自身のクラインケル積 ($ v \otimes v $) として符号化することで、スピアーマンの $ \rho $ が 0.28 に達し、対角符号化や従来の間接的行列手法を上回ることであり、他動詞行列における完全な関係的構造が合成的意味のモデリングを向上させることを示している。

ABSTRACT

Formal and distributional semantic models offer complementary benefits in modeling meaning. The categorical compositional distributional (DisCoCat) model of meaning of Coecke et al. (arXiv:1003.4394v1 [cs.CL]) combines aspected of both to provide a general framework in which meanings of words, obtained distributionally, are composed using methods from the logical setting to form sentence meaning. Concrete consequences of this general abstract setting and applications to empirical data are under active study (Grefenstette et al., arxiv:1101.0309; Grefenstette and Sadrzadeh, arXiv:1106.4058v1 [cs.CL]). . In this paper, we extend this study by examining transitive verbs, represented as matrices in a DisCoCat. We discuss three ways of constructing such matrices, and evaluate each method in a disambiguation task developed by Grefenstette and Sadrzadeh (arXiv:1106.4058v1 [cs.CL]).

研究の動機と目的

• 従来の間接的手法以外の、DisCoCatフレームワーク内での他動詞行列の構築法を調査すること。
• 語彙的他動詞ベクトルの異なる行列符号化方法が、曖昧除去タスクにおける合成的文意味に与える影響を評価すること。
• 単に対角成分に制限するのではなく、$ r \times r $ 行列全体に他動詞ベクトルを符号化することで、意味的類似度予測の性能が向上するかどうかを検証すること。
• 対角成分、定数パディング、クラインケル積に基づく行列符号化の実効的性能を、他動詞意味のモデリングにおいて比較すること。

提案手法

• 他動詞ベクトル $ \vec{tverb} $（$ r $ 次元の行ベクトル）が、3つの異なる方法で $ r \times r $ 行列に符号化される：0を用いた対角埋め込み（0-diag）、1を用いた対角埋め込み（1-diag）、自身とのクラインケル積（$ v \otimes v $）。
• 文の意味は成分ごとの乗算により計算される：$ \vec{sub} \otimes \vec{obj} \odot \underline{tverb} $、ここで $ \underline{tverb} $ は他動詞の行列表現である。
• DisCoCatフレームワークにより文の文法的構造が保持され、主語と目的語のベクトルがクラインケル積により結合され、その後に他動詞行列によって変調される。
• 文のペア間の意味的類似度は、得られた文ベクトルのフロベニウスノルムにより計算され、人的判断と比較される。
• 評価には、モデル予測値と人的アノテーション類似度スコアの間のスピアーマン順位相関 $ \rho $ が用いられ、ベースラインおよび上限値との比較が行われる。
• 間接的手法は、事前に使用されていたもので、BNCにおける他動詞と関連する主語・目的語ペairの共起統計から他動詞行列を構築する。

実験結果

リサーチクエスチョン

• RQ1 他動詞の行列符号化戦略を異なるものにした場合、DisCoCatにおける合成的文意味モデリングの精度にどのような影響を与えるか？
• RQ2 単に対角成分に制限するのではなく、$ r \times r $ 行列全体に他動詞ベクトルを符号化することで、意味的類似度タスクの性能が向上するか？
• RQ3 他動詞ベクトルを自身とのクラインケル積（$ v \otimes v $）で符号化する方法が、対角または定数パディング手法よりも効果的であるか？
• RQ4 シンプルな構造であるにもかかわらず、$ v \otimes v $ 方法がより複雑な間接的行列構築法を上回る理由は何か？
• RQ5 他動詞行列における非対角成分（オフディアゴナル情報）を保持することで、他動詞文における関係的意味のモデリングがどの程度向上するか？

主な発見

• $ v \otimes v $ 行列符号化が、最高のスピアーマンの $ \rho $ 0.28 を達成し、間接的行列手法（ρ=0.21）および他のすべての符号化法を顕著に上回った。
• 1-diag 法は ρ=0.08、0-diag 法は ρ=0.17 を記録し、対角成分のみの符号化法が、行列全体の表現よりも効果が低いことが示された。
• 従来の間接的行列手法は ρ=0.21 を達成しており、効果的であるが、より単純な $ v \otimes v $ 符号化法に劣ることが判明した。
• $ v \otimes v $ 法は、主語・目的語間のすべての相互作用を他動詞を通じて保持・伝達するが、対角法では対角成分にのみ他動詞の重みが適用される。
• $ v \otimes v $ 法の成功は、他動詞行列における完全な関係的構造が、他動詞意味のモデリングに不可欠であることを示唆しており、高次元表現の必要性を裏付けた。
• 結果から、語彙的ベクトルそのもの以上の情報が行列表現に含まれることで、合成的意味モデリングが顕著に向上することが示された。