[논문 리뷰] A Survey on Neural-symbolic Learning Systems

Dongran Yu, Bo Yang외 3명|arXiv (Cornell University)|2021. 11. 10.

Neural Networks and Applications참고 문헌 94인용 수 4

한 줄 요약

이 종합적 서베이는 신경망의 인식 능력과 기호 체계의 추론 능력을 융합하여 인공지능의 설명 가능성과 일반화 능력에 한계가 있는 문제를 해결하기 위해 신경기호 학습 시스템의 종합적인 분류 체계를 제안한다. 방법, 과제, 응용 분야 및 향후 방향성의 발전을 통합적으로 분석하며, 종단간 학습, 기호 표현, 지식 구축을 통합된 인공지능 시스템을 위한 핵심 연구 분야로 강조한다.

ABSTRACT

In recent years, neural systems have demonstrated highly effective learning ability and superior perception intelligence. However, they have been found to lack effective reasoning and cognitive ability. On the other hand, symbolic systems exhibit exceptional cognitive intelligence but suffer from poor learning capabilities when compared to neural systems. Recognizing the advantages and disadvantages of both methodologies, an ideal solution emerges: combining neural systems and symbolic systems to create neural-symbolic learning systems that possess powerful perception and cognition. The purpose of this paper is to survey the advancements in neural-symbolic learning systems from four distinct perspectives: challenges, methods, applications, and future directions. By doing so, this research aims to propel this emerging field forward, offering researchers a comprehensive and holistic overview. This overview will not only highlight the current state-of-the-art but also identify promising avenues for future research.

연구 동기 및 목표

• 순수 신경 또는 기호 기반 인공지능 시스템의 한계를 해결하기 위해 인식 능력과 추론 능력을 통합하기 위해.
• 지식 표현, 규칙 학습, 기호 추론 효율성과 같은 핵심 과제를 식별하고 체계화하기 위해.
• 통합 방법, 응용 분야, 향후 연구 방향성에 기반한 신경기호 시스템의 체계적 분류 체계를 제공하기 위해.
• 확장 가능한 인공지능 시스템을 위한 종단간 학습, 기호 표현 학습, 자동 지식 구축의 중요성을 부각하기 위해.
• 설명 가능한 인공지능, 로봇공학, 의료 의사결정 분야에서의 잠재적 방향성을 제시하여 향후 연구를 이끌기 위해.

제안 방법

• 통합 방법, 응용 분야, 향후 연구 방향성에 기반한 새로운 3단계 분류 체계를 제안한다.
• 신경기호 신경망, 미분 가능 논리, 딥 러닝과의 기호 통합 등 다양한 유형의 방법을 분류한다.
• 복잡한 지식을 모델링하기 위해 그래프 기반 및 이질적 표현 학습을 포함한 기호 표현 학습 기법을 검토한다.
• 특히 인도크티브 논리 프로그래밍(ILP)과 데이터 기반 규칙 마이닝을 중심으로 데이터에서 기반 규칙을 자동으로 생성하는 방법을 분석한다.
• 이중과정 이론(시스템 1 및 시스템 2)과 같은 인지과학의 통찰을 통합하여 하이브리드 추론과 인식의 필요성을 프레임워크화한다.
• 컴퓨터 비전, 자연어 처리, 헬스케어 등 다양한 분야에서의 적용 가능성을 고려하여 기존 접근법의 강점, 한계 및 적용 가능성을 체계적으로 분석한다.

실험 결과

연구 질문

• RQ1 신경기호 시스템는 어떻게 딥 러닝의 인식 능력과 기호 추론의 해석 가능성 능력을 효과적으로 융합할 수 있는가?
• RQ2 특히 규칙 및 지식 획득에서 종단간 학습의 핵심 기술적 과제는 무엇인가?
• RQ3 어떻게 기호 표현 학습을 개선하여 '근처에 있다'와 '옆에 있다'와 같은 술어 간의 의미 유사성을 잘 포착할 수 있는가?
• RQ4 기존 인공지능 작업을 초월하여 신경기호 시스템의 가장 유망한 응용 분야는 무엇인가?
• RQ5 신경기호 인공지능의 확장성, 일반화 능력, 설명 가능성 향상을 위해 가장 중요한 향후 연구 방향은 무엇인가?

주요 결과

• 신경기호 학습 시스템은 인식과 추론을 효과적으로 융합하여 데이터 기반 학습과 논리적 추론이 모두 필요한 복잡한 작업을 수행할 수 있도록 한다.
• 현재 기호 지식 구축은 대부분 수작업으로 이루어져 있어 확장성에 큰 장애물이 되며, 향후 연구에서 데이터에서 자동으로 규칙을 학습하는 데 초점을 맞춰야 할 핵심 분야이다.
• 기호 표현 학습은 의미적으로 유사한 술어(예: 'near' 대비 'next to')를 구분하지 못해 추론 효율성에 제약을 주며, 더 나은 임베딩 방법 개선이 필요하다.
• 특히 이질적 그래프 임베딩을 포함한 그래프 표현 학습은 높은 표현력을 지닌 복잡하고 다중 모odal한 기호 지식을 모델링하는 데 유망한 길을 제시한다.
• 의료 진단 및 자율주행과 같이 설명 가능성과 강건성이 핵심적인 고위험 분야에서 신경기호 시스템은 높은 잠재력을 보이며,
• 이중과정 이론(시스템 1 및 시스템 2)의 통합은 속도와 추론을 균형 있게 유지하는 하이브리드 인공지능 시스템 설계를 위한 인지적 기반을 제공한다.