[論文レビュー] Sentence Entailment in Compositional Distributional Semantics

Esma Balkır, Dimitri Kartsaklis+1 more|arXiv (Cornell University)|Dec 14, 2015

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿は、ベクトルおよび密度行列上のエントロピーに基づく距離を用いて文の含意をモデル化する、カテゴリー的結合的分布的意味論（CCDS）を用いた構成的分布的意味論フレームワークを提案する。文法的構造が保持される場合、語の含意関係が合成的に句および文に拡張されることを証明し、標準ベクトルよりも強力でより正確な語レベルの含意を密度行列が提供することを実データおよびトロイ・データセットで検証した。

ABSTRACT

Distributional semantic models provide vector representations for words by gathering co-occurrence frequencies from corpora of text. Compositional distributional models extend these from words to phrases and sentences. In categorical compositional distributional semantics, phrase and sentence representations are functions of their grammatical structure and representations of the words therein. In this setting, grammatical structures are formalised by morphisms of a compact closed category and meanings of words are formalised by objects of the same category. These can be instantiated in the form of vectors or density matrices. This paper concerns the applications of this model to phrase and sentence level entailment. We argue that entropy-based distances of vectors and density matrices provide a good candidate to measure word-level entailment, show the advantage of density matrices over vectors for word level entailments, and prove that these distances extend compositionally from words to phrases and sentences. We exemplify our theoretical constructions on real data and a toy entailment dataset and provide preliminary experimental evidence.

研究の動機と目的

• 文法的構造を保つことで語レベルの含意関係を合成的に文の含意フレームワークに拡張する、構成的フレームワークの開発。
• ベクトルおよび密度行列表現上のエントロピーに基づく距離が、定量的で分布的設定における含意の度合いをモデル化できるかどうかの調査。
• 標準ベクトルが失敗する状況において、ベクトルベースと密度行列ベースの表現が語および文の含意をどれほど正確に捉えられるかを比較する。
• カテゴリー的結合的意味論を用いて、分布的包含仮説（DIH）を句および文に拡張し、合成的一致性を保証する。
• 密度行列が含意タスクの分布的モデルの表現力を向上させることを理論的および実験的根拠で示す。

提案手法

• 本稿は、有限次元実ベクトル空間の圏（FbVect_R）およびそのCPM(FVect_R)への拡張（密度行列のため）を用い、語および句の意味をコンパクト閉じた圏内の対象および準同型として形式化する。
• 語の表現間の情報差を測る指標として、カルバック・ライブラー（KL）ダイバージェンスおよびシャノンエントロピーを用い、含意の度合いをモデル化する。
• 文法的構造（準同型を介して）を用いて語の意味を合成的に句および文の表現に組み立て、合成性を保証する。
• 理論的証明により、成分語が点-wise に含意関係にあり、かつ同一の文法的構造を持つ場合、合成表現に対しても含意関係が成立することを示した。
• 実コロケーションおよび小規模な含意データセットを用いた実験的検証を行い、KLダイバージェンスおよびエントロピーを用いてベクトルと密度行列表現の性能を比較した。
• 情報理論的指標を用いて、ベクトルまたは密度行列表現を比較することで、文のペア間の含意度を計算する。

実験結果

リサーチクエスチョン

• RQ1 ベクトルおよび密度行列表現上のエントロピーに基づく距離が、堅牢で合成的な文の含意測定を可能にするか？
• RQ2 標準ベクトル表現と比較して、密度行列の使用が語レベルの含意検出を向上させるか？
• RQ3 カテゴリー的結合的分布的意味論フレームワークにおいて、語の含意関係が文法的構造を保つ場合に、どのようにして句および文に合成的に拡張されるか？
• RQ4 モデルが予測する含意度と人間の判断との相関関係は、ベクトルと密度行列のインスタンスでそれぞれどのように異なるか、特に人間の認識との整合性について？
• RQ5 文法的構造の保持が合成的含意を可能にする程度はどの程度か。また、同様でない構造に対してもこのフレームワークを拡張可能か？

主な発見

• 密度行列は、標準ベクトル表現が誤って含意関係と判断した語のペアについて、誤った含意判断を是正した。これは、密度行列の表現力の向上を示している。
• 理論的フレームワークにより、語が点-wise に含意関係にあり、かつ同一の文法的構造を持つ場合、合成表現に対しても含意関係が成立することを証明した。これは、フロベニウスやバイアルゲブラ写像を含む複雑な構造への一般化を含む。
• 不及および動詞句含意タスクでは、ベクトルおよび密度行列モデルの両方がベースラインを著しく上回ったが、密度行列は曖昧な含意関係をより優れた性能で捉えていた。
• 他動詞文含意タスクでは、文の長さと複雑さの増加に伴いモデル性能がベースラインを下回った。これは、長文のシーケンスモデリングにおけるさらなる精錬の必要性を示唆している。
• モデルが予測する含意度と人間の判断との相関は、標準行列およびベクトルの合成に対して密度行列のインスタンスよりも高かった。これは、表現力の向上と人間の認識との間のトレードオフを示唆している。
• 本研究は、KLダイバージェンスおよび量子相対エントロピーが表現の順序付けに意味のあるものであることを確認した。これにより、二値論理を超えた定量的で情報理論的アプローチによる含意が可能になった。