[논문 리뷰] Towards Data-and Knowledge-Driven Artificial Intelligence: A Survey on Neuro-Symbolic Computing

Wenguan Wang, Yi Yang외 1명|arXiv (Cornell University)|2022. 10. 28.

Neural Networks and Applications인용 수 13

한 줄 요약

이 종합 검토는 신경망과 기호적 AI를 융합하여 학습 효율성과 추론 해석 가능성의 이점을 결합하는 뉴로심볼릭 계산(NeSy)에 대한 포괄적인 개요를 제시한다. 이 논문은 통합 방식, 지식 표현, 임bedding, 기능성에 따라 최근 NeSy 방법을 분류하고, 수학 단어 문제 및 시각적 구문 분석과 같은 작업에서 성능을 평가하며, 인간 수준의 추론과 확장성 달성을 위한 열린 과제를 규명한다.

ABSTRACT

Neural-symbolic computing (NeSy), which pursues the integration of the symbolic and statistical paradigms of cognition, has been an active research area of Artificial Intelligence (AI) for many years. As NeSy shows promise of reconciling the advantages of reasoning and interpretability of symbolic representation and robust learning in neural networks, it may serve as a catalyst for the next generation of AI. In the present paper, we provide a systematic overview of the recent developments and important contributions of NeSy research. Firstly, we introduce study history of this area, covering early work and foundations. We further discuss background concepts and identify key driving factors behind the development of NeSy. Afterward, we categorize recent landmark approaches along several main characteristics that underline this research paradigm, including neural-symbolic integration, knowledge representation, knowledge embedding, and functionality. Next, we briefly discuss the successful application of modern NeSy approaches in several domains. Then, we benchmark several NeSy methods on three representative application tasks. Finally, we identify the open problems together with potential future research directions. This survey is expected to help new researchers enter this rapidly evolving field and accelerate the progress towards data-and knowledge-driven AI.

연구 동기 및 목표

• 순수 신경망(데이터 중심)과 기호적 AI(지식 중심)의 한계를 해결하기 위해 두 기술의 강점을 통합한다.
• 딥러닝 모델의 투명성 부족, 데이터 비효율성, 조합적 일반화 부족 문제를 해결한다.
• 하이브리드 뉴로심볼릭 아키텍처를 통해 강력하고 해석 가능하며 일반화 가능한 AI 시스템을 구현한다.
• 실세계 작업에서 NeSy 방법의 성능을 평가하여 연구 격차를 규명한다.
• 대규모 기초 모델 시대를 고려해 NeSy의 미래 방향을 그림그리며 인공일반지능을 달성한다.

제안 방법

• 네 가지 차원에 따라 NeSy 시스템을 분류한다: 신경-기호 통합 방식(종합적, 모odu러, 등), 지식 표현(논리, 지식 그래프, 등), 지식 임베딩(벡터화된 지식), 기능적 능력(추론, 계획, 등).
• 기초적이고 최근의 NeSy 연구를 조사한다. 초기 기호 시스템, 딥러닝의 발전, DeepMind의 Differentiable Neural Computer와 DeepProbLog와 같은 하이브리드 아키텍처 포함.
• 신경-기호 미분 가능 추론, 미분 가능한 논리 프로그래밍, 기호 연산을 위한 미분 가능한 신경 모듈과 같은 핵심 기법을 분석한다.
• 세 가지 작업에서 NeSy 모델을 평가한다: 후보합성 예측, 시각적 의미 분석, 수학 단어 문제 해결. 표준 평가 지표(정확도, F1) 사용.
• 대규모 언어 모델(LLM)을 기호적 추론과 통합하여 지식 검색을 향상시키고 환각 현상을 줄이며, 타이트한 통합과 느슨한 통합 패턴을 탐색한다.
• 메타인지 능력(조합성, 체계성, 인과적 추론 등)을 기반으로 한 NeSy 시스템 평가 프레임워크를 제안하며, 유전체학과 로봇공학 분야를 시험대상으로 사용한다.

실험 결과

연구 질문

• RQ1 신경망과 기호적 추론을 어떻게 효과적으로 통합하여 데이터 효율성과 해석 가능성 모두를 달성할 수 있는가?
• RQ2 현대 뉴로심볼릭 시스템을 정의하는 주요 방법론적 차원은 무엇이며, 설계 및 성능에서 어떻게 다를 수 있는가?
• RQ3 NeSy 시스템은 추론 중심 작업에서 순수 신경망 또는 기호적 모델보다 어떻게 슈퍼리어하거나 보완적인 성능을 내는가?
• RQ4 NeSy 시스템은 인과적 추론과 반사적 추론과 같은 복잡한 인지 기능을 지원하기 위해 어떻게 확장되고 적응시킬 수 있는가?
• RQ5 대규모 기초 모델은 뉴로심볼릭 AI에서 기호적 지식 표현을 향상시키고 환각 현상을 줄이는 데 어떤 역할을 할 수 있는가?

주요 결과

• NeSy 시스템은 수학 단어 문제 및 시각적 의미 분석과 같은 추론 작업에서 성능 향상을 보이며, 순수 신경 기반 기준선 대비 정확도 향상을 입증한다.
• 미분 가능한 신경 모듈과 기호적 논리의 조합으로 구성된 하이브리드 모델은 종합적 딥러닝 모델보다 더 강한 조합적 일반화 능력을 보인다.
• DeepProbLog와 DeepMind의 Differentiable Neural Computer에서 사용하는 지식 임베딩 기법은 기호적 해석 가능성 유지와 함께 종합적 훈련을 가능하게 한다.
• 성능 평가 결과, NeSy 방법은 특히 논리적 일관성과 단계별 추론이 필요한 작업에서 데이터가 부족한 환경에서 표준 신경망보다 뛰어난 성능을 보인다.
• 대규모 언어 모델을 기호적 추론과 통합함으로써 환각 현상이 감소하고 사실 기반 일관성이 향상되지만, 느슨한 통합 방식은 여전히 한계로 남아 있다.
• 분야는 인간 수준의 메타인지 능력 향향으로 나아가고 있으나, 확장성, 체계성, 그리고 헬스케어 및 로봇공학과 같은 분야에서의 실세계 적용에 있어 여전히 큰 과제가 남아 있다.