[論文レビュー] Towards A Model Theory for Distributed Representations.

Ramanathan V. Guha|arXiv (Cornell University)|Jan 1, 2014

Semantic Web and Ontologies被引用数 7

ひとこと要約

この論文は、実数値のベクトルを用いた第一階論理のモデル理論を提案し、論理における分散表現の形式的意味論を可能にする。ベクトルに基づく埋め込みを記号論理と統合するために、実数ベクトル空間上で解釈を定義し、論理的整合性を保ちながらベクトル演算による照会処理を可能にする。

ABSTRACT

Distributed representations (such as those based on embeddings) and discrete representations (such as those based on logic) have complementary strengths. We explore one possible approach to combining these two kinds of representations. We present a model theory/semantics for first order logic based on vectors of reals. We describe the model theory, discuss some interesting properties of such a system and present a simple approach to query answering.

研究の動機と目的

• 分散表現（例：単語埋め込み）と記号論理の間のギャップを埋めるために、形式的意味論を提供すること。
• 第一階論理の解釈を実数ベクトル空間上で定義するモデル理論的枠組みを構築すること。
• ベクトル演算を用いて分散表現システム内で論理的照会処理を可能にすること。
• ベクトルに基づく論理的モデルの理論的性質と、古典論理との整合性を調査すること。

提案手法

• ドメイン、述語、関数を表す実数ベクトルのタプルを用いて、第一階論理のモデルを定義する。
• ベクトル演算（例：ドット積）に基づいて、原子論理式にベクトル解釈を割り当てる（真偽評価のため）。
• ベクトル空間上で満たし条件を定義することで、量記号を扱うモデル理論を拡張する。
• 論理式の真偽値を計算するために、ベクトルに基づく演算を用い、照会評価を可能にする。
• ベクトルフレームワーク内での標準的な論理的含意関係を保つことで、論理的整合性を確保する。
• 論理的照会をベクトル計算にマッピングする照会処理メカニズムを提案する。

実験結果

リサーチクエスチョン

• RQ1 第一階論理は、どのように実数値のベクトル空間に基づく形式的意味論をもつことができるか？
• RQ2 古典的モデル理論と比較して、論理のベクトルベースのモデル理論が有する性質は何か？
• RQ3 このフレームワーク内で、ベクトル演算を用いて論理的照会を意味的に回答できるか？
• RQ4 論理的含意と妥当性は、どのようにベクトル空間の関係に翻訳されるか？
• RQ5 このようなハイブリッド表現システムの計算可能性と表現力は何か？

主な発見

• 提案されたモデル理論は、実数ベクトルを用いた第一階論理の形式的意味論を提供し、記号的表現と分散表現の橋渡しを可能にする。
• システムにおける真偽評価は、ドット積などのベクトル演算によって定義され、連続的な真偽値が計算可能になる。
• 満たしや含意といった重要な論理的性質は、連続的ベクトル形式でも保たれるが、その形は変化する。
• 照会処理は、論理的照会をベクトル空間演算にマッピングすることで達成され、分散環境での推論を可能にする。
• ニューラルネットワーク風の埋め込みと論理的推論を滑らかに統合でき、神経記号的AIの基盤を提供する。
• 密なベクトル表現を用いて構造化された知識の上での推論が可能でありながら、論理的解釈可能性を維持できる。