[論文レビュー] Neurosymbolic AI -- Why, What, and How

Amit Sheth, Kaushik Roy+1 more|arXiv (Cornell University)|May 1, 2023

Explainable Artificial Intelligence (XAI)被引用数 13

ひとこと要約

本論文は Neurosymbolic AI を、神経ネットワークと記号知識を統合したハイブリッド手法として提示し、AI システムの認知、説明可能性、安全性を向上させる。

ABSTRACT

Humans interact with the environment using a combination of perception - transforming sensory inputs from their environment into symbols, and cognition - mapping symbols to knowledge about the environment for supporting abstraction, reasoning by analogy, and long-term planning. Human perception-inspired machine perception, in the context of AI, refers to large-scale pattern recognition from raw data using neural networks trained using self-supervised learning objectives such as next-word prediction or object recognition. On the other hand, machine cognition encompasses more complex computations, such as using knowledge of the environment to guide reasoning, analogy, and long-term planning. Humans can also control and explain their cognitive functions. This seems to require the retention of symbolic mappings from perception outputs to knowledge about their environment. For example, humans can follow and explain the guidelines and safety constraints driving their decision-making in safety-critical applications such as healthcare, criminal justice, and autonomous driving. This article introduces the rapidly emerging paradigm of Neurosymbolic AI combines neural networks and knowledge-guided symbolic approaches to create more capable and flexible AI systems. These systems have immense potential to advance both algorithm-level (e.g., abstraction, analogy, reasoning) and application-level (e.g., explainable and safety-constrained decision-making) capabilities of AI systems.

研究の動機と目的

• 知覚ベースのニューラルネットワークと知識ベースの記号推論を組み合わせる必要性を動機づける。
• Neurosymbolic AI が抽象化、類推、推論、長期的計画をどのように支援するかを説明する。
• 説明性、解釗可能性、安全性、AIシステムへの信頼など、アプリケーションレベルの利点を強調する。
• アルゴリズムとアプリケーションレベルの性能に対するアーキテクチャカテゴリと実践的影響を概説する。

提案手法

• ニューロシンボリック手法を二つの主要カテゴリに分類する：ローアリング（象徴的知識を圧縮してニューラルパターンと統合すること）とリフティング（ニューラルパターンから情報を抽出して象徴知識へ写像すること）。
• さらにカテゴリ1を(a) 圧縮された知識グラフ、(b) 圧縮された形式論理表現、カテゴリ2を (a) 終端学習を伴うフェデレーテッドパイプライン、(b) 完全に微分可能なエンドツーエンドパイプライン。
• 認知と知覚のための低・中・高スケールにおけるアルゴリズムレベルの結果と、説明性・制約・拡張性・継続的適応といったアプリケーションレベルの結果を分析する。
• 知識グラフや論理がニューラルネットワークとどのように統合され得るかを示すアーキテクチャ図と例を提供し、アテンションバイアスやマスク技術を含む。
• 異なる統合アプローチにおける説明可能性、拡張性、ユーザーの導入の課題を論じる。

Figure 1: The two primary types of neurosymbolic techniques—lowering and lifting—can be further divided into four sub-categories. Across the low ( L ), medium ( M ), and high ( H ) scales, these methods can be used to provide a variety of functions at both algorithmic and application levels.

実験結果

リサーチクエスチョン

• RQ1 ニューラルAIと記号AIを統合する主な動機は何か？
• RQ2 ニューロシンボリック手法の主なカテゴリとサブカテゴリは何か、またそれらはアルゴリズムレベルとアプリケーションレベルでどう性能を発揮するか？
• RQ3 圧縮とリフティング技術が、ニューロシンボリック系の認知・知覚・説明可能性・安全性にどう影響するか？
• RQ4 フェデレーテッドと完全なエンドツーエンド微分可能パイプラインのスケーラビリティと継続的学習への潜在的影響は？
• RQ5 ニューロシンボリックAI の今後の方向性と安全性検討は？

主な発見

• ニューロシンボリックAIは、ニューラル知覚と象徴的認知を融合し、抽象化、類推、計画を可能にする。
• 埋め込みやマスキングによる知識グラフの圧縮は、ロスのある意味論のために認知能力の伸びは限定的だが、ニューラルパイプラインとの統合を可能にする。
• 形式論理表現の圧縮は計算的に非効率で、大規模知覚への適用性は限定的である。
• 言語モデルとプラグインを用いたフェデレーテッドパイプラインは強い知覚を実現するが、モデルの理解度に依存する認知能力は限定的である。
• 完全に微分可能なエンドツーエンドパイプライン（カテゴリ2b）は、全てのアプリケーションレベルの側面で高い潜在能力を示し、メンタルヘルスの診断支援で有望な結果を示す。
• 将来の知識グラフと高容量ニューラルネットワークは、アルゴリズム的・アプリケーションレベルの高い有用性を提供し、象徴的ガードレールによって安全性と説明可能性が向上する可能性がある。

Figure 2: The figure illustrates two methods for compressing knowledge graphs to integrate them with neural processing pipelines. One approach involves embedding knowledge graph paths into vector spaces, enabling integration with the neural network’s hidden representations. The other method involves