[논문 리뷰] Neural-Symbolic Computing: An Effective Methodology for Principled Integration of Machine Learning and Reasoning

Artur d’Avila Garcez, Marco Gori외 4명|arXiv (Cornell University)|2019. 05. 15.

Neural Networks and Applications인용 수 127

한 줄 요약

신경-기호 계산(neural-symbolic computing)에 대한 조사로, 설명 가능하고 책임 있는 AI를 위한 신경 학습과 기호 지식의 principled한 통합을 자세히 다루며, 표현, 학습, 추론을 규칙 기반, 공식 기반, 임베딩 기반 접근 방식 전반에 걸쳐 설명합니다.

ABSTRACT

Current advances in Artificial Intelligence and machine learning in general, and deep learning in particular have reached unprecedented impact not only across research communities, but also over popular media channels. However, concerns about interpretability and accountability of AI have been raised by influential thinkers. In spite of the recent impact of AI, several works have identified the need for principled knowledge representation and reasoning mechanisms integrated with deep learning-based systems to provide sound and explainable models for such systems. Neural-symbolic computing aims at integrating, as foreseen by Valiant, two most fundamental cognitive abilities: the ability to learn from the environment, and the ability to reason from what has been learned. Neural-symbolic computing has been an active topic of research for many years, reconciling the advantages of robust learning in neural networks and reasoning and interpretability of symbolic representation. In this paper, we survey recent accomplishments of neural-symbolic computing as a principled methodology for integrated machine learning and reasoning. We illustrate the effectiveness of the approach by outlining the main characteristics of the methodology: principled integration of neural learning with symbolic knowledge representation and reasoning allowing for the construction of explainable AI systems. The insights provided by neural-symbolic computing shed new light on the increasingly prominent need for interpretable and accountable AI systems.

연구 동기 및 목표

• AI 시스템의 해석가능성과 책임성 문제를 해결하기 위한 학습과 추론의 통합 필요성에 대한 동기 부여.
• 신경-기호 시스템의 핵심 특성: 표현, 추출, 추론, 학습을 개관합니다.
• 신경망에서 규칙 기반, 공식 기반, 임베딩 기반 접근으로 기호 지식 표현을 분류합니다.
• 모듈식이고 구성적 아키텍처에서 학습, 추론, 설명가능성을 가능하게 하는 신경-기호 방법을 설명합니다.
• principled AI를 위한 신경-기호 컴퓨팅의 경향, 도전 과제 및 미래 방향을 논의합니다.

제안 방법

• 상징적 지식을 신경망에 임베딩하는 표현 매핑(규칙 기반, 공식 기반, 임베딩 기반)을 설명합니다.
• 일차 로직에서의 propositionalisation과 bottom-clause 기법(CILP, CILP++, KBANN)을 신경망 내에서 설명합니다.
• 신경-기호 시스템에서 시간에 따라 진화하는 지식과 추론을 가능하게 하는 시간적 및 모달 확장(CtlK, SCTL, NSCA)을 논의합니다.
• 사전 지식과 데이터를 결합하고 지식 이전을 가능하게 하는 수평/수직 하이브리드 학습으로 논리적 제약을 적용합니다.
• 확장 가능한 추론을 위한 근사 만족성과 에너지 기반 접근(LTN, Penalty logic, confidence rules)을 리뷰합니다.
• 전향/후향 연쇄, 미분 가능 추론, 텐서 기반 표현 등 다양한 신경-기호 추론 형식을 조사합니다.

실험 결과

연구 질문

• RQ1 상징적 지식을 신경 학습과 통합하여 설명 가능한 AI 시스템을 어떻게 생성할 수 있는가?
• RQ2 로직과 신경망을 결합하기 위한 실용적 표현 체계(규칙 기반, 공식 기반, 임베딩 기반)는 무엇인가?
• RQ3 시간적·모달 로직을 신경-기호 아키텍처에 어떻게 도입하여 진화하는 지식과 추론을 모델링할 수 있는가?
• RQ4 어떤 학습 전략(수평/수직 하이브리드, 지식 제약, 이전 지식 이전)이 신경-기호 시스템을 가장 효과적으로 지원하는가?
• RQ5 확장 가능하고 해석 가능한 신경-기호 컴퓨팅의 주요 도전 과제와 미래 방향은 무엇인가?

주요 결과

• 신경-기호 컴퓨팅은 견고한 신경 학습과 상징적 추론 및 추출을 결합하여 설명 가능한 AI로의 원칙적 경로를 제공한다.
• 지식 표현은 규칙 기반, 공식 기반, 임베딩 기반으로 분류될 수 있으며, 각 접근은 추론과 학습에서 상호 trade-off를 가진다.
• 시간적·모달 로직은 신경망과 결합하여 지식의 진화와 다중 에이전트 추론을 모델링하고 모듈성 및 해석 가능성을 향상시킨다.
• 사전 symbolic 지식과 데이터를 활용하는 하이브리드 학습 전략은 일반화와 확장 가능한 추론을 개선할 수 있다.
• 이 논문은 신경-기호 통합을 통해 더 설명 가능하고 책임 있는 AI를 향한 경향, 도전 과제 및 미래 방향을 강조한다.