[論文レビュー] Neural-Symbolic Computing: An Effective Methodology for Principled Integration of Machine Learning and Reasoning

Artur d’Avila Garcez, Marco Gori+4 more|arXiv (Cornell University)|May 15, 2019

Neural Networks and Applications被引用数 127

ひとこと要約

神経-symbolic計算の総説。解釈可能で説明責任のあるAIのために、神経学習と象徴知識を原理的に統合する方法を詳述し、表現、学習、推論を規則ベース・式ベース・埋め込みベースのアプローチで扱う。

ABSTRACT

Current advances in Artificial Intelligence and machine learning in general, and deep learning in particular have reached unprecedented impact not only across research communities, but also over popular media channels. However, concerns about interpretability and accountability of AI have been raised by influential thinkers. In spite of the recent impact of AI, several works have identified the need for principled knowledge representation and reasoning mechanisms integrated with deep learning-based systems to provide sound and explainable models for such systems. Neural-symbolic computing aims at integrating, as foreseen by Valiant, two most fundamental cognitive abilities: the ability to learn from the environment, and the ability to reason from what has been learned. Neural-symbolic computing has been an active topic of research for many years, reconciling the advantages of robust learning in neural networks and reasoning and interpretability of symbolic representation. In this paper, we survey recent accomplishments of neural-symbolic computing as a principled methodology for integrated machine learning and reasoning. We illustrate the effectiveness of the approach by outlining the main characteristics of the methodology: principled integration of neural learning with symbolic knowledge representation and reasoning allowing for the construction of explainable AI systems. The insights provided by neural-symbolic computing shed new light on the increasingly prominent need for interpretable and accountable AI systems.

研究の動機と目的

• AIシステムにおける解釈可能性と説明責任を解決するため、統合された学習と推論の必要性を動機づける。
• ニューラル-シンボリック系の核心的特徴を概説する：表現、抽出、推論、および学習。
• ニューラルネットワークにおける象徴知識表現を、規則ベース・式ベース・埋め込みベースのアプローチに分類する。
• モジュラー式・組み合わせ可能なアーキテクチャにおいて、ニューラル-シンボリック手法がどのように学習・推論・説明可能性を可能にするかを説明する。
• 原理的なAIのためのニューラル-シンボリック計算における動向・課題・今後の方向性を論じる。

提案手法

• 象徴知識をニューラルネットワークに埋め込む表現写像を説明する（規則ベース・式ベース・埋め込みベース）。
• ニューラルネット内の一階述語論理に対する命題化とボトムクローズ技法を説明する（CILP、CILP++、KBANN）。
• 時相・モーダル拡張（CTLK、SCTL、NSCA）を議論し、時とともに変化する知識と推論をニューラル-シンボリック系で実現する。
• 前知識とデータを結びつけ、知識移転を可能にする論理制約を用いた学習（横方向/縦方向ハイブリッド）を提示する。
• 大規模推論のための近似満足性とエネルギーに基づくアプローチ（LTN、ペナルティ論理、信頼性規則）を概観する。
• さまざまな神経-symbolic 推論形式主義を調査する（前向き/後向き連鎖、微分可能推論、テンソルベースの表現）。

実験結果

リサーチクエスチョン

• RQ1 象徴知識を神経学習と統合して、説明可能なAIシステムを生み出すにはどうすればよいか。
• RQ2 論理とニューラルネットワークを組み合わせる実用的な表現スキームは何か（規則ベース・式ベース・埋め込みベース）？
• RQ3 時相・モーダル論理をニューラル-シンボリック構成に取り入れて、変化する知識と推論をモデル化するにはどうすればよいか。
• RQ4 どのような学習戦略（横方向/縦方向ハイブリッド、知識制約、転移）がニューラル-シンボリック系を最も効果的に支援するか。
• RQ5 スケーラブルで解釈可能なニューラル-シンボリック計算の主な課題と今後の方向性は何か。

主な発見

• 神経-symbolic計算は、堅牢なニューラル学習と象徴的推論および抽出を組み合わせる原理的な道を提供し、説明可能なAIを実現する。
• 知識表現は規則ベース・式ベース・埋め込みベースのアプローチに分類でき、それぞれ推論と学習のトレードオフを持つ。
• 時相・モーダル論理はニューラルネットワークと統合して知識の進化と多主体推論をモデル化し、モジュール性と解釈性を向上させる。
• 事前の象徴知識とデータを活用するハイブリッド学習戦略は、一般化を改善し、拡張性のある推論を提供できる。
• 本論文は、ニューラル-symbolic統合を通じてより解釈可能で説明責任のあるAIを目指す動向・課題・今後の方向性を示している。