[論文レビュー] Mathematical Foundations for a Compositional Distributional Model of Meaning

Bob Coecke, Mehrnoosh Sadrzadeh+1 more|arXiv (Cornell University)|Mar 23, 2010

Natural Language Processing Techniques被引用数 148

ひとこと要約

本稿では、コン pact な閉じた圏を用いてベクトル空間意味論と Pregroup 文法を統合する構成的分布的意味モデルを提案する。これにより、文の意味が単一の意味空間内のベクトルとして計算可能となり、情報の流れを図式的計算で追跡でき、任意の文同士の内積比較が可能になる。ブール型の変種ではモンテューグ式意味論が回復される。

ABSTRACT

We propose a mathematical framework for a unification of the distributional theory of meaning in terms of vector space models, and a compositional theory for grammatical types, for which we rely on the algebra of Pregroups, introduced by Lambek. This mathematical framework enables us to compute the meaning of a well-typed sentence from the meanings of its constituents. Concretely, the type reductions of Pregroups are `lifted' to morphisms in a category, a procedure that transforms meanings of constituents into a meaning of the (well-typed) whole. Importantly, meanings of whole sentences live in a single space, independent of the grammatical structure of the sentence. Hence the inner-product can be used to compare meanings of arbitrary sentences, as it is for comparing the meanings of words in the distributional model. The mathematical structure we employ admits a purely diagrammatic calculus which exposes how the information flows between the words in a sentence in order to make up the meaning of the whole sentence. A variation of our `categorical model' which involves constraining the scalars of the vector spaces to the semiring of Booleans results in a Montague-style Boolean-valued semantics.

研究の動機と目的

• 分布的ベクトル空間モデルによる語の意味と構成的文法的型理論を統合し、従来の手法の限界を克服すること。
• 任意の適切に型付けられた文の意味を、単一の共有された意味空間内でのベクトルとして計算可能にすること。
• 語の意味と文法的型に基づいて、形式的かつ構成的な方法で文の意味を計算すること。
• 統一されたベクトル空間内での内積を用いて、任意の文同士の意味比較を可能にすること。
• ベクトルスカラを {0,1} に制限することで、モンテューグ式のブール意味論を特別なケースとして回復すること。

提案手法

• Pregroup型還元を、コンパクト閉じた圏内のモルフィズムに昇格させ、ベクトル空間と文法的型を統合する。
• ベクトル空間のテンソル積を用いて意味の結合を表現し、文法的型がカテゴリカルモルフィズムを通じて合成を導く。
• コンパクト閉じた圏に基づく図式的計算を用いて、文の合成における情報の流れを視覚化および計算する。
• 各文に対して、単一の意味空間 S 内の意味ベクトルを割り当て、内積による直接比較を可能にする。
• 有限次元ベクトル空間の圏（FVect）と Pregroup の圏（P）を用い、積圏 FVect × P を構成する。
• ベクトルスカラを半環 {0,1} に制限することでブール型の変種を導出し、モンテューグ式の真理関数的意味論を導出する。

実験結果

リサーチクエスチョン

• RQ1 分布的語の意味を、定量的比較を保ちつつ、文の意味に構成的に合成することは可能か？
• RQ2 ベクトル空間意味論と構成的型理論を統合する統一された数学的枠組みを構築可能か？
• RQ3 文法的構造を圏論的にどのように符号化すれば、語の意味と型から自然に文の意味が導かれるか？
• RQ4 コンパクト閉じた圏は、文の意味論における図式的計算と情報の流れの追跡をどのように可能にするか？
• RQ5 モンテューグ式のブール意味論は、提案されたベクトルベースの構成的モデルの特別なケースとして導出可能か？

主な発見

• 提案された枠組みは、任意の適切に型付けられた文の意味を、単一の共有された意味空間 S 内のベクトルとして計算可能にし、任意の2つの文間で直接内積比較が可能になる。
• コンパクト閉じた圏の使用により、単に図式的計算が可能となり、語から文の意味への情報の流れを視覚化できる。
• モデルは、文法的型の事前定義されたベクトルを必要とせず、自然に文レベルの意味計算をサポートする。
• ブールスカラを用いたモデルの変種では、集合論的積分に基づき、文の意味が真または偽となるモンテューグ式の意味論が回復される。
• この枠組みは混合状態を扱えるほど柔軟であり、固定された論理的対応を持たない文脈依存語（例：'but'）をモデル化するのにも拡張可能である。
• モデルは、論理接続詞（例：'and'、'or'、'not'）をベクトル空間設定で扱うための基盤を提供し、標準的行列表現への可能性を秘めている。