[論文レビュー] The Integration of Connectionism and First-Order Knowledge Representation and Reasoning as a Challenge for Artificial Intelligence

Sebastian Bader, Pascal Hitzler+1 more|ArXiv.org|Aug 31, 2004

Logic, Reasoning, and Knowledge参考文献 39被引用数 14

ひとこと要約

本稿では、論理プログラムをその単一ステップ（即時帰結）作用素として実数値関数に符号化し、シグモイド活性化関数を用いたフィードフォワードニューラルネットワークでその関数を近似することで、第一階論理プログラムと接続主義的システムを統合するフレームワークを提案する。主な貢献は、記号論理と接続主義的学習を統合する理論的基盤を提供することであり、論理的意味を保ちつつ連続的・微分可能なシステム内で構造的推論を可能にするとともに、学習と規則抽出を可能にする。

ABSTRACT

Intelligent systems based on first-order logic on the one hand, and on artificial neural networks (also called connectionist systems) on the other, differ substantially. It would be very desirable to combine the robust neural networking machinery with symbolic knowledge representation and reasoning paradigms like logic programming in such a way that the strengths of either paradigm will be retained. Current state-of-the-art research, however, fails by far to achieve this ultimate goal. As one of the main obstacles to be overcome we perceive the question how symbolic knowledge can be encoded by means of connectionist systems: Satisfactory answers to this will naturally lead the way to knowledge extraction algorithms and to integrated neural-symbolic systems.

研究の動機と目的

• 記号的第1階論理推論と接続主義的ニューラルネットワークの間の統合の課題に取り組むこと。両者は表現および計算の観点で根本的に異なる。
• 標準的なニューラルネットワークでは制限されているが、接続主義的システムが構造的対象および再帰的プロセスを表現・推論できるようにすること。
• 論理プログラムの意味的作用素を通じて、論理プログラムをニューラルネットワークに形式的にマッピングするフレームワークを構築すること。論理的意味を連続的ベクトル空間に保ちながら。
• 論理と接続主義の統合を通じて、学習、規則抽出、効率的推論が可能なハイブリッドシステムを構築する基盤を提供すること。
• 特に非単調論理および第1階論理の文脈において、ニューラルネットワークが複雑な論理的推論プロセスを近似可能かどうかを検討すること。

提案手法

• 解釈を新たな解釈へ写像する単一ステップ（即時帰結）作用素を介して第一階論理プログラムを表現する。
• これらの作用素を実数上の関数にマッピングし、論理的推論の連続的表現を可能にする。
• 得られた実数値関数を、シグモイド活性化関数を用いたフィードフォワードニューラルネットワークで近似する。
• 離散的論理的構造を連続的実数値空間に埋め込むための位相的枠組みとして、カントール空間を用いる。
• 変数の束縛およびデータロジックおよび完全な第1階論理における解釈モデルのサポートを目的として、位相符号化を用いた再帰的ニューラルネットワークを採用する。
• 集合論的位相幾何学および反復関数系の技術を用いて、論理的作用素のニューラル近似の収束性および安定性を分析する。

実験結果

リサーチクエスチョン

• RQ1 関数記号を含む第1階論理プログラムを、有限で連続的な接続主義的アーキテクチャにどのように符号化できるか。
• RQ2 作用素ベースのマッピングを通じて、ニューラルネットワークが第一階論理推論の意味を忠実に近似できるか。
• RQ3 記号的推論と接続主義的学習を統合する統一されたシステムを可能にする理論的枠組みは何か。
• RQ4 このようなハイブリッドシステムで、学習と規則抽出をどのように達成できるか。
• RQ5 接続主義的システムは、非単調論理推論および再帰的構造を効果的に処理できるか。

主な発見

• 第一階論理プログラムの単一ステップ作用素は、シグモイド活性化関数を用いたフィードフォワードニューラルネットワークで近似可能な実数値関数にマッピング可能である。
• カントール空間は、離散的論理的構造を連続的ベクトル空間に埋め込むための位相的基盤を提供し、記号的知識の接続主義的表現を容易にする。
• 理論的結果により、適切な条件下でニューラルネットワークが、関数記号を含む論理プログラムの意味を近似可能であることが示された。
• 再帰的ネットワークにおける位相符号化により、量化子を含む第1階論理を処理するために不可欠な変数の束縛が可能である。
• 作用素近似アプローチをデフォルト論理および反駁可能論理に拡張することで、非単調論理推論をサポートする。
• 統合により、学習と規則抽出が可能であることが示された。具体的には、学習済みニューラルネットワークから論理規則を逆工程で復元可能である。