[論文レビュー] Basic Reasoning with Tensor Product Representations

Paul Smolensky, Moontae Lee+4 more|arXiv (Cornell University)|Jan 12, 2016

Natural Language Processing Techniques参考文献 4被引用数 14

ひとこと要約

この論文は、分散ベクトル表現を用いて述語論理における論理的推論を実行するためのテンソル積表現（TPR）フレームワークを導入する。TPRがbAbI質疑応答タスクにおける関係的推論をどのようにモデル化できるかを示し、TPR上の単純な代数的演算が正確な推論を可能にすることを示している。また、数学的厳密性をもって、先行手法をより広範な推論タスクへと形式的に拡張している。

ABSTRACT

In this paper we present the initial development of a general theory for mapping inference in predicate logic to computation over Tensor Product Representations (TPRs; Smolensky (1990), Smolensky & Legendre (2006)). After an initial brief synopsis of TPRs (Section 0), we begin with particular examples of inference with TPRs in the 'bAbI' question-answering task of Weston et al. (2015) (Section 1). We then present a simplification of the general analysis that suffices for the bAbI task (Section 2). Finally, we lay out the general treatment of inference over TPRs (Section 3). We also show the simplification in Section 2 derives the inference methods described in Lee et al. (2016); this shows how the simple methods of Lee et al. (2016) can be formally extended to more general reasoning tasks.

研究の動機と目的

• 述語論理における論理的推論をテンソル積表現（TPR）上の計算に体系的にマッピングする一般理論の構築を目的とする。
• 分散ベクトル表現を用いて、bAbI質疑応答ベンチマークにおけるTPRによる関係的推論のモデル化を示すことを目的とする。
• 一般TPR推論フレームワークを簡素化し、bAbIのような実用的推論タスクに適用可能にするのを目的とする。
• Leeら（2016）の手法を、TPRフレームワークを用いてより一般的な推論シナリオへと形式的に拡張することを目的とする。

提案手法

• エンティティと関係を分散ベクトルとして表現するテンソル積表現（TPR）を用い、関係は構成要素ベクトルのテンソル積として表現する。
• テンソル縮約やベクトル加算などの代数的演算を用いて、TPR上での論理的推論を実行する。
• 一般TPRフレームワークを、bAbIタスクに適した計算的に扱いやすい形に簡素化し、複雑さを低減しながら推論能力を保持する。
• TPRの代数的構造から推論規則を導出し、構成的構造上の体系的推論を可能にする。
• bAbI質疑応答タスク上でアプローチを検証し、TPRに基づく推論が先行手法と同等またはそれを上回ることを示している。
• 簡素化された手法を一般推論タスクへと形式的に拡張し、理論的整合性とスケーラビリティを保証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして述語論理における論理的推論を、分散テンソル積表現上の計算に体系的にマッピングできるか？
• RQ2 簡素化されたTPRフレームワークは、bAbI質疑応答ベンチマークで効果的な推論を達成できるか？
• RQ3 簡素化されたTPR推論手法とより一般的なTPR理論との間の正式な関係は何か？
• RQ4 TPRフレームワークはbAbIタスクを越えて、より広範な推論タスクのクラスをサポートできるように拡張可能か？
• RQ5 TPRのどの数学的性質が論理的推論における正しさと安定性を保証するか？

主な発見

• TPRフレームワークは、分散ベクトル演算を用いてbAbIタスクにおける関係的推論を成功裏にモデル化し、代数的操作によって正確な推論を達成している。
• 2節で提示された簡素化されたTPR手法は、Leeら（2016）のアプローチを形式的に一般化しており、彼らの経験的手法に理論的根拠を提供している。
• テンソル積表現は、構造的知識を正確な代数的演算を持つ分散ベクトルとして符号化することで、組み合わせ的推論を可能にする。
• 一般TPRフレームワークは、bAbIを越える広範な推論タスクをサポートでき、数学的に整合性のある基盤を有している。
• 本論文は、TPRに基づく推論が計算的に実行可能であり、かつ述語論理の意味論と正式に整合していることを確立している。
• 本アプローチは、分散表現が記号的処理を必要とせずに、体系的かつ組み合わせ的推論を可能にできることを示している。