[論文レビュー] Towards Data-and Knowledge-Driven Artificial Intelligence: A Survey on Neuro-Symbolic Computing

Wenguan Wang, Yi Yang+1 more|arXiv (Cornell University)|Oct 28, 2022

Neural Networks and Applications被引用数 13

ひとこと要約

本調査では、学習効率と推論の解釈可能性を組み合わせるため、ニューラルネットワークと記号的AIを統合する神経記号計算（NeSy）の包括的概要を提示する。NeSy手法は統合タイプ、知識表現、埋め込み、機能性の観点から分類され、数学的単語問題や視覚的解析などのタスクで性能をベンチマークされ、人間水準の推論とスケーラビリティを達成するための未解決の課題が特定される。

ABSTRACT

Neural-symbolic computing (NeSy), which pursues the integration of the symbolic and statistical paradigms of cognition, has been an active research area of Artificial Intelligence (AI) for many years. As NeSy shows promise of reconciling the advantages of reasoning and interpretability of symbolic representation and robust learning in neural networks, it may serve as a catalyst for the next generation of AI. In the present paper, we provide a systematic overview of the recent developments and important contributions of NeSy research. Firstly, we introduce study history of this area, covering early work and foundations. We further discuss background concepts and identify key driving factors behind the development of NeSy. Afterward, we categorize recent landmark approaches along several main characteristics that underline this research paradigm, including neural-symbolic integration, knowledge representation, knowledge embedding, and functionality. Next, we briefly discuss the successful application of modern NeSy approaches in several domains. Then, we benchmark several NeSy methods on three representative application tasks. Finally, we identify the open problems together with potential future research directions. This survey is expected to help new researchers enter this rapidly evolving field and accelerate the progress towards data-and knowledge-driven AI.

研究の動機と目的

• 完全にニューラル（データ駆動）または記号的（知識駆動）なAIの限界を克服し、両者の長所を統合する。
• 深層学習モデルの不透明性、データ非効率性、合成一般化の欠如を克服する。
• ハイブリッド神経記号アーキテクチャを通じて、頑健で解釈可能で汎用性のあるAIシステムを実現する。
• 実世界のタスクでNeSy手法をベンチマークし、性能を評価するとともに研究ギャップを同定する。
• 大規模なフォンダショングローバルモデルの時代を踏まえ、人工汎用知能を達成するための今後の方向性を示す。

提案手法

• 神経記号統合（エンドツーエンド、モジュラーなど）、知識表現（論理、知識グラフなど）、知識埋め込み（ベクトル化された知識）、機能的機能（推論、計画など）の4つの次元に沿ってNeSyシステムを分類する。
• 初期の記号的システム、ディープラーニングの進展、およびDeepMindのDifferentiable Neural Computer や DeepProbLog などのハイブリッドアーキテクチャを含む、NeSy分野の基礎的および最近の研究を調査する。
• ニューロシンボリック微分可能推論、微分可能論理プログラミング、記号的演算のための微分可能ニューラルモジュールなどの主要技術を分析する。
• 反応合成予測、視覚的意味的解析、数学的単語問題の解法の3つのタスクでNeSyモデルをベンチマークし、正確性やF1スコアなどの標準指標を用いる。
• 大規模言語モデル（LLMs）と記号的推論を統合して知識抽出を強化し、幻覚を低減する。統合の緊密さ（タイト）と緩さ（ローレイ）のパターンを検討する。
• 合成性、体系的性、因果推論といったメタ認知的機能に基づいてNeSyシステムを評価するフレームワークを提案する。遺伝学やロボット工学などの分野をテストベッドとして用いる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークと記号的推論を効果的に統合することで、データ効率性と解釈可能性を両立できるか？
• RQ2 現代の神経記号システムを特徴付ける主なメソドロジカル次元は何か？それらは設計や性能においてどのように異なるか？
• RQ3 NeSyシステムは、推論を要するタスクにおいて、純粋なニューラルモデルや記号的モデルと比較して、どのように優れているか、あるいは補完的か？
• RQ4 NeSyシステムは、因果推論や反事後的推論といった複雑な認知機能をサポートするために、どのようにスケーリングされ、適応可能になるか？
• RQ5 大規模フォンダショングローバルモデルは、神経記号AIにおける記号的知識表現の強化と幻覚の低減に果たす役割は何か？

主な発見

• NeSyシステムは、数学的単語問題や視覚的意味的解析といった推論タスクで、純粋なニューラルベースラインよりも性能が向上し、正確性の向上を示している。
• 微分可能ニューラルモジュールと記号的論理を組み合わせたハイブリッドモデルは、エンドツーエンドのディープラーニングモデルよりも優れた合成一般化を示している。
• DeepProbLog や DeepMindのDifferentiable Neural Computer で用いられる知識埋め込み技術は、記号的解釈可能性を保ちつつエンドツーエンド学習を可能にしている。
• ベンチマークの結果、NeSy手法は、論理的一致性や段階的推論を要するタスクにおいて、データが限られる状況でも標準的なニューラルネットワークを上回っている。
• 大規模言語モデルと記号的推論の統合により幻覚が低減され、事実の整合性が向上したが、緩い統合は依然として制限要因のままである。
• 分野は人間水準のメタ認知的機能への進展を遂げつつあるが、スケーラビリティ、体系的性、医療やロボット工学を含む実世界の分野への展開において、依然として大きな課題が残っている。