[論文レビュー] Neurosymbolic AI: The 3rd Wave

Artur d’Avila Garcez, Luís C. Lamb|arXiv (Cornell University)|Dec 10, 2020

Advanced Memory and Neural Computing被引用数 76

ひとこと要約

この論文は、ニューラルネットワーク学習とシンボリック知識表現および論理的推論を密接に統合して信頼性、解釈可能性、説明責任を高める第三波のAIを提唱する。 It surveys foundational results, discusses representations, taxonomies, and promising directions for neurosymbolic systems.

ABSTRACT

Current advances in Artificial Intelligence (AI) and Machine Learning (ML) have achieved unprecedented impact across research communities and industry. Nevertheless, concerns about trust, safety, interpretability and accountability of AI were raised by influential thinkers. Many have identified the need for well-founded knowledge representation and reasoning to be integrated with deep learning and for sound explainability. Neural-symbolic computing has been an active area of research for many years seeking to bring together robust learning in neural networks with reasoning and explainability via symbolic representations for network models. In this paper, we relate recent and early research results in neurosymbolic AI with the objective of identifying the key ingredients of the next wave of AI systems. We focus on research that integrates in a principled way neural network-based learning with symbolic knowledge representation and logical reasoning. The insights provided by 20 years of neural-symbolic computing are shown to shed new light onto the increasingly prominent role of trust, safety, interpretability and accountability of AI. We also identify promising directions and challenges for the next decade of AI research from the perspective of neural-symbolic systems.

研究の動機と目的

• AIにおける信頼性、安全性、解釈可能性の懸念に対処するため、学習とシンボリック推論を組み合わせる必要性を動機づける。
• 歴史的および現代のニューロシンボリックの成果を網羅的に調査し、堅牢なAIシステムの核心成分を特定する。
• 表現パラダイム（分散表現 vs 局所表現）とそれらの学習と推論における役割を明確にする。
• ニューロシンボリック手法の分類法を整理し、実用的な統合戦略を論じる。
• 今後10年間のニューロシンボリックAIの有望な方向性と課題を概説する。

提案手法

• 二十年にわたるニューロシンボリック研究と関連AI論争をレビューし統合する。
• 学習と推論を結ぶ際の分散表現と局所表現の役割を分析する。
• 埋め込みベースのアプローチやシンボリック・コンパイル手法を含むニューラル—シンボリック統合形態を検討する。
• ニューロシンボリック系の分類法（Kautzの枠組み）を評価し、実践的な設計選択に対応づける。
• ニューラル統合に適した論理形式（非古典論理を含む）を論じる。
• 真に統合された(Type 6)ニューロシンボリック系の開発のための基準と方向性を提案する。）

実験結果

リサーチクエスチョン

• RQ1 効果的なニューロシンボリックAIに必要な本質的な構成要素は何か？
• RQ2 分散表現と局所表現をどのように橋渡しして安定した推論と学習を実現すべきか？
• RQ3 現在のニューロシンボリック系とその統合戦略を最も適切に表す分類は何か？
• RQ4 実世界タスクにおける統合形態（統合型と緩やかに結合した統合形態）の利点と制約は何か？
• RQ5 今後10年間で堅牢で説明可能かつ組み合わせ的能力を持つAIを実現するうえで最も有望な方向性は何か？

主な発見

• ニューロシンボリックAIは、説明可能性と外挿を目的として、堅牢な学習とシンボリック知識および論理推論を結びつける。
• 緩やかに結合したものから厳密に統合されたニューラル—シンボリック系まで、複数の統合形態が存在する。
• 分散表現と局所表現はそれぞれ長所を持ち、これらを橋渡しすることが不確実性下での推論の進展において中心となる。
• 分類法（特にKautzの枠組み）は、Type 1 から Type 6 までの系を分類し、ニューラルエンジン内での真のシンボリック推論へと進行することを浮き彫りにする。
• 現在の研究は、非古典論理と多値論理がニューラルネットワークを記述する有用な言語を提供することを示している。
• 進歩にもかかわらず、スケーラブルな組合せ推論を備えた完全に実現されたType 6システムは未解決の目標であり、今後の研究を導く。