[論文レビュー] Neural-Symbolic Computing: An Effective Methodology for Principled Integration of Machine Learning and Reasoning

Artur d’Avila Garcez, Marco Gori+4 more|arXiv (Cornell University)|May 15, 2019

Neural Networks and Applications参考文献 52被引用数 99

ひとこと要約

Neural-symbolic computingを、神経学習と記号知識の表現と推論を統合して、説明可能なAIシステムを構築する原理的な方法論としての調査。

ABSTRACT

Current advances in Artificial Intelligence and machine learning in general, and deep learning in particular have reached unprecedented impact not only across research communities, but also over popular media channels. However, concerns about interpretability and accountability of AI have been raised by influential thinkers. In spite of the recent impact of AI, several works have identified the need for principled knowledge representation and reasoning mechanisms integrated with deep learning-based systems to provide sound and explainable models for such systems. Neural-symbolic computing aims at integrating, as foreseen by Valiant, two most fundamental cognitive abilities: the ability to learn from the environment, and the ability to reason from what has been learned. Neural-symbolic computing has been an active topic of research for many years, reconciling the advantages of robust learning in neural networks and reasoning and interpretability of symbolic representation. In this paper, we survey recent accomplishments of neural-symbolic computing as a principled methodology for integrated machine learning and reasoning. We illustrate the effectiveness of the approach by outlining the main characteristics of the methodology: principled integration of neural learning with symbolic knowledge representation and reasoning allowing for the construction of explainable AI systems. The insights provided by neural-symbolic computing shed new light on the increasingly prominent need for interpretable and accountable AI systems.

研究の動機と目的

• 解釈可能で説明責任のあるAIシステムを達成するために、統合された学習と推論の必要性を動機づける。
• 表現と推論様式を横断する形で、神経-記号計算が記号知識と神経学習をどのように調和させるかを概観する。
• 神経-記号システムの主要な特徴と構成要素（表現、抽出、推論、学習）を概説する。
• 神経ネットワークにおける記号知識表現のアプローチを分類し、それぞれの利点と限界を論じる。

提案手法

• ルールベース（KBANN, CILP）、式ベース（Penalty logic, RBMs）、埋め込みベース（tensorisation, LTNs）表現を含む、歴史的および現代の神経-記号アプローチをレビュー・統合する。
• propositionalisationとbottom clausesが一階述語論理をニューラルネットワークで表現する方法を説明する。
• 時相的知識と時間における知識の進化のための、時相・モーダル拡張（CTLK, SCTL, NSCA）を説明する。
• 推論のニューラル実装としての前向き連鎖と後向き連鎖を議論し、微分可能推論と近似満足性を含む。
• 記号知識とデータ駆動学習および転移学習を組み合わせる水平・垂直ハイブリッド学習のパラダイムを提示する。
• 神経-記号システムにおける知識抽出、自然言語生成、プログラム合成を通じた説明可能性に取り組む。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおいて記号知識を符号化する主な表現形式（ルールベース、式ベース、埋め込みベース）は何で、それらはどのように比較されるか？
• RQ2 学習と推論を神経-記号システムに統合して、説明可能なAIを生み出すにはどうすればよいか？
• RQ3 神経-記号フレームワーク内における時相的・モーダル推論の効果的な戦略は何か？
• RQ4 微分可能なニューラルアーキテクチャにおいて前向き連鎖と後向き連鎖をどのように実現できるか、そして近似満足性への影響は何か？
• RQ5 先行知識を活用し、領域間で記号知識を転移する際の水平・垂直ハイブリッド学習の役割は何か？

主な発見

• Neural-symbolic integrationは、説明可能なAIのために堅牢な学習と記号知識の抽出および推論の原理的な組み合わせをサポートする。
• 時相論理とモーダル論理は、知識と学習の時間的進化をモデル化するために神経学習と統合できる。
• Various representations (rule-based, formula-based, embedding-based) enable different trade-offs between expressivity, tractability, and learnability.
• Forward and backward chaining can be implemented as differentiable neural inferences, enabling approximate reasoning within neural architectures.
• Hybrid learning approaches (horizontal and vertical) enhance data efficiency and knowledge transfer by integrating logical constraints and background knowledge into neural training.
• Explainability can be achieved through knowledge extraction, natural language generation, and neural-symbolic program synthesis.