[論文レビュー] Towards a Formal Distributional Semantics: Simulating Logical Calculi with Tensors

Edward Grefenstette|arXiv (Cornell University)|Apr 22, 2013

Topic Modeling参考文献 26被引用数 58

ひとこと要約

この論文は、多線形代数を用いて論理結合子、述語、量化子を表現することで、コンpositional分布的意味論における述語論理の主要な要素を模擬するテンソルベースのフレームワークを提案する。テンソルの縮約が論理式の評価を可能にすることを示し、非線形演算が量化子のモデル化を可能にし、分布的意味論と形式論理の橋渡しを果たすことを示している。

ABSTRACT

The development of compositional distributional models of semantics reconciling the empirical aspects of distributional semantics with the compositional aspects of formal semantics is a popular topic in the contemporary literature. This paper seeks to bring this reconciliation one step further by showing how the mathematical constructs commonly used in compositional distributional models, such as tensors and matrices, can be used to simulate different aspects of predicate logic. This paper discusses how the canonical isomorphism between tensors and multilinear maps can be exploited to simulate a full-blown quantifier-free predicate calculus using tensors. It provides tensor interpretations of the set of logical connectives required to model propositional calculi. It suggests a variant of these tensor calculi capable of modelling quantifiers, using few non-linear operations. It finally discusses the relation between these variants, and how this relation should constitute the subject of future work.

研究の動機と目的

• コンポジショナル分布的意味論と形式論理を統合するために、論理的演算をテンソルベースのモデルに埋め込むこと。
• 現在のコンポジショナル分布的モデルには、分布的単語意味を組み込んではいるが、形式論理の推論能力に欠けているというギャップを埋めること。
• テンソルが多線形写像を用いて、真理関数的結合子と量化子なしの述語論理計算をシミュレートできることを示すこと。
• 純粋に多線形な枠組みに制限されるのを克服し、非線形演算を用いて量化子をモデル化できるテンソル計算の変種を提案すること。
• テンソル代数を用いて論理的推論を分布的意味モデルに統合する理論的基盤を確立すること。

提案手法

• テンソルと多線形写像の標準的同型を用いて、論理的アトム、述語、関係をテンソルとして表現する。
• 論理式の評価メカニズムとしてテンソル縮約を採用し、意味表現の合成を可能にする。
• 論理結合子（例：論理積、論理和、否定）を特定のテンソル演算として定義し、真理関数的挙動を保持する。
• 「存在する」のような操作を用いた非線形なテンソル計算の変種を導入し、存在的量化をモデル化する。これは多線形写像だけでは表現できない。
• 2つの述語のテンソル表現（真理関数としての表現と集合から集合への写像としての表現）の間の正式な関係を確立し、対角化を用いて両者が相互に変換可能であることを示す。
• 関係の部分適用をテンソル縮約によって行うことで、原子的論理形式から量化された論理形式への移行を可能にする、コンポジショナルなワークフローを提案する。

実験結果

リサーチクエスチョン

• RQ1 テンソルは、量化子なしの述語論理における論理的演算の全範囲をシミュレートできるか？
• RQ2 純粋に多線形写像に依存するテンソル形式的体系において、量化子はどのようにモデル化できるか？
• RQ3 異なるテンソル表現（真理関数としての表現と集合写像としての表現）の間の数学的関係は何か？
• RQ4 テンソルベースの論理的演算は、既存のコンポジショナル分布的意味論モデルにどのように統合できるか？
• RQ5 分布的ベクトル表現は、論理的領域や同値性をどの程度近似して解釈できるか？

主な発見

• テンソルは、テンソル縮約による合成を可能にすることで、論理的アトム、述語、関係を表現でき、論理式の評価を可能にする。
• 論理積、論理和、否定といった論理結合子は、特定のテンソルとして符号化でき、テンソルフレームワーク内に完全な命題論理計算が構築される。
• 「存在する」演算子は多線形写像として表現できないため、純粋に多線形なテンソルモデルが量化子を扱う際に根本的な制限を受けることが示された。
• 非線形なテンソル計算の変種により、量化子のモデル化が可能となり、特に「存在する」操作が非多線形であることが判明し、非線形な要素が必要であることが示された。
• 2つの述語のテンソル表現（真理関数としての表現と集合写像としての表現）は、対角化を用いて数学的に同等である：$\mathrm{diag}(\mathbf{p} \mathbf{M}^P) = \mathbf{M}'^P$ であり、両者を相互に変換可能である。
• 部分適用と表現変換を組み合わせることで、『ジョンが愛している誰かが存在する』のような複雑な論理的形のコンポジショナル評価がフレームワークによって可能になる。