[論文レビュー] A Survey on Neural-symbolic Learning Systems

Dongran Yu, Bo Yang+3 more|arXiv (Cornell University)|Nov 10, 2021

Neural Networks and Applications参考文献 94被引用数 4

ひとこと要約

本調査は、ニューラルネットワークの認識能力とシンボリックシステムの推論能力を統合することで、AIの説明可能性と一般化の限界を克服する、ニューラル・シンボリック学習システムの包括的な分類体系を提案する。方法、課題、応用分野、今後の方向性の進展を統合的に検討し、エンド・トゥ・エンド学習、シンボリック表現、知識構築を統合的AIシステムの主要な研究フロンティアとして強調する。

ABSTRACT

In recent years, neural systems have demonstrated highly effective learning ability and superior perception intelligence. However, they have been found to lack effective reasoning and cognitive ability. On the other hand, symbolic systems exhibit exceptional cognitive intelligence but suffer from poor learning capabilities when compared to neural systems. Recognizing the advantages and disadvantages of both methodologies, an ideal solution emerges: combining neural systems and symbolic systems to create neural-symbolic learning systems that possess powerful perception and cognition. The purpose of this paper is to survey the advancements in neural-symbolic learning systems from four distinct perspectives: challenges, methods, applications, and future directions. By doing so, this research aims to propel this emerging field forward, offering researchers a comprehensive and holistic overview. This overview will not only highlight the current state-of-the-art but also identify promising avenues for future research.

研究の動機と目的

• 純粋なニューラルまたはシンボリックAIシステムの限界を解消するため、認識能力と推論能力を統合すること。
• 知識表現、ルール学習、シンボリック推論の効率性といった、ニューラル・シンボリック学習における主要な課題を特定・体系化すること。
• 統合手法、応用分野、今後の研究方向性に基づいた、ニューラル・シンボリックシステムの構造的分類体系を提供すること。
• スケーラブルなAIシステムのためのエンド・トゥ・エンド学習、シンボリック表現学習、自動知識構築の重要性を強調すること。
• 説明可能なAI、ロボット工学、医療意思決定といった分野における有望な方向性を提示することで、今後の研究を導くこと。

提案手法

• 統合手法、応用分野、今後の研究方向性に基づいて、新規の三段階分類体系を提案する。
• ニューラル・シンボリックニューラルネットワーク、微分可能論理、ディープラーニングとのシンボリック統合など、異なるカテゴリに分類された手法を分類する。
• グラフベースおよび異種表現学習を用いた、シンボリック表現学習の技術をレビューする。これにより、複雑な知識をモデル化する。
• 特に、データからの論理規則の抽出に焦点を当て、帰納的論理プログラミング（ILP）とデータ駆動型ルールマイニングを用いた、自動的シンボリック知識構築の方法を分析する。
• 二重プロセス理論（システム1およびシステム2）といった認知科学の知見を統合し、ハイブリッド推論と認識の必要性をフレームワーク化する。
• コンピュータビジョン、自然言語処理、医療分野など、さまざまな分野における強み、限界、適用可能性を体系的に分析することで、既存のアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル・シンボリックシステムは、どのようにしてディープラーニングの認識能力とシンボリック推論の解釈可能性を効果的に統合できるか？
• RQ2 特にルールおよび知識取得において、ニューラル・シンボリックモデルのエンド・トゥ・エンド学習を実現するための核心的技術的課題は何か？
• RQ3 「near」と「next to」のような意味的に類似した述語を区別できるように、シンボリック表現学習をどのように改善できるか？
• RQ4 従来のAIタスクを越えて、ニューラル・シンボリックシステムの最も有望な応用分野は何か？
• RQ5 スケーラビリティ、一般化、説明可能性の向上に向け、今後の研究で最も重要となる方向性は何か？

主な発見

• ニューラル・シンボリック学習システムは、データ駆動型学習と論理的推論の両方を必要とする複雑なタスクを実行できるように、認識と推論を効果的に統合している。
• 現在のシンボリック知識構築は依然として主に手作業で行われており、スケーラビリティの大きなボトル neck となっており、今後の研究における自動的ルール学習の分野が特に重要である。
• シンボリック表現学習は、意味的に類似した述語（例：「near」と「next to」）を区別できないため、推論の効率性に制限を受けており、より優れた埋め込み手法の開発が求められている。
• グラフ表現学習、特に異種グラフ埋め込みは、高い表現力を持つ多様なモodalなシンボリック知識をモデル化する有望な道筋を示している。
• ニューラル・シンボリックシステムは、解釈可能性と耐障害性が求められる医療診断や自動運転といったハイリスク分野で、大きな潜在的価値を示している。
• 二重プロセス理論（システム1およびシステム2）の統合は、速度と推論の両立を図るハイブリッドAIシステムの設計に、認知的基盤を提供する。