[논문 리뷰] Neurosymbolic AI and its Taxonomy: a survey

Wandemberg Gibaut, Leonardo Pereira외 6명|arXiv (Cornell University)|2023. 05. 12.

Neural Networks and Applications인용 수 6

한 줄 요약

이 종합적 서베이는 신경망과 기호적 추론을 융합하여 설명 가능하고 데이터 효율적인 AI 시스템을 가능하게 하는 신경기호 AI의 포괄적인 분류 체계를 제안한다. 딥 러닝과 기호적 추론을 통합한 14개의 핵심 모델—예를 들어 논리 텐서 네트워크(LTN), 신경 논리 기계(NLM), 논리 신경망(LNN)—를 평가하여 데이터로부터의 학습과 논리적 추론을 결합할 수 있음을 입증하며, 지식 기반 질문 응답 및 공정성 인식 AI와 같은 작업에서 뛰어난 성능을 달성한다. 특히 한 벤치마크에서 LNN은 결정론적 SPARQL 번역 방식보다 2.9% 높은 성능을 보였다.

ABSTRACT

Neurosymbolic AI deals with models that combine symbolic processing, like classic AI, and neural networks, as it's a very established area. These models are emerging as an effort toward Artificial General Intelligence (AGI) by both exploring an alternative to just increasing datasets' and models' sizes and combining Learning over the data distribution, Reasoning on prior and learned knowledge, and by symbiotically using them. This survey investigates research papers in this area during recent years and brings classification and comparison between the presented models as well as applications.

연구 동기 및 목표

• 신경기호 AI 모델의 체계적인 분류 체계를 제공하여 지식 표현, 학습, 추론 메커니즘 기반으로 분류한다.
• 딥 러닝과 기호적 추론을 융합한 최근 신경기호 시스템의 발전을 분석하여 설명 가능성과 데이터 효율성을 향상시킨다.
• 지식 기반 질문 응답, AI의 공정성, 다중모odal 언어 이해와 같은 다양한 응용 분야에서 신경기호 모델의 성능을 평가한다.
• 현재 신경기호 AI의 주요 한계를 특정화한다. 예를 들어, 모델 지속성 부족, 설명의 사용자 우호성 부족, 비교적 부족한 벤치마크 평가 등이다.
• 특히 공정성, 편향 완화, 기존 머신러닝 및 기호적 AI와의 통합 분야에서 아직 탐색되지 않은 연구 기회를 부각시킨다.

제안 방법

• 저자는 최근 14篇의 신경기호 AI 논문을 체계적으로 서베이하여 핵심 아키텍처, 학습 철학, 추론 메커니즘을 분석하였다.
• 지식 표현(예: 텐서라이제이션, 문장화), 학습 유형(유도적, 수직 하이브리드), 추론 전략(전진/역행 추론, 근사 SAT 해결) 기반으로 모델을 분류하였다.
• 벤치마크 데이터셋에서 모델 성능을 평가하였으며, 질문 응답 작업에서 신경기호 추론과 결정론적 기호 번역(예: SPARQL) 간의 비교를 포함하였다.
• LTN, LNN, NLM와 같은 주요 모델들이 미분 가능한 논리를 신경망과 통합하여 엔드 투 엔드 학습과 학습 및 추론의 공동 최적화를 가능하게 하는 능력을 분석하였다.
• NSQA에서 LNN 추론, 텍스트 기반 게임을 위한 LOA, 단문 텍스트 엔티티 연결을 위한 LNN-EL 등의 응용 사례 연구를 포함하였다.
• 현재 신경기호 연구의 핵심적인 약점—예를 들어, 모델 지속성 부족, 비전문가를 위한 설명의 제한성, 비기호적 모델과의 비교 평가 부족—을 식별하고 논의하였다.

실험 결과

연구 질문

• RQ1 신경기호 AI 모델은 어떻게 신경망 학습과 기호적 추론을 효과적으로 융합하여 설명 가능성과 데이터 효율성을 향상시킬 수 있는가?
• RQ2 LTN, LNN, NLM와 같은 주요 신경기호 프레임워크 간의 주요 아키텍처 및 방법론적 차이점은 무엇인가?
• RQ3 지식 기반 질문 응답 및 편향 완화와 같은 작업에서 신경기호 모델은 순수 신경망 또는 기호적 기반 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 모델 지속성, 사용자 우수한 설명, 비교 벤치마크 평가 측면에서 현재 신경기호 AI의 주요 한계는 무엇인가?
• RQ5 신경기호 AI는 알고리즘 편향과 머신러닝의 공정성 문제를 더욱 효과적으로 해결하기 위해 어떻게 활용될 수 있는가?

주요 결과

• NSQA 시스템에서 LNN 기반 추론 방식이 한 데이터셋에서 결정론적 SPARQL 번역 방식보다 2.9% 높은 성능을 보이며, 복잡한 질의 이해에서 신경기호 추론의 우수성을 입증하였다.
• LTN 및 LNN과 같은 신경기호 모델은 다중관계, 카운트 기반, 초월형, 비교형 추론을 포함한 다양한 추론 유형을 지원하며, 표 3에서 이를 확인할 수 있다.
• 서베이는 LTN에서 모델 지속성 부족을 밝혀내었으며, 재학습 없이도 훈련된 모델를 저장할 수 없어 실질적 구현에 장애가 된다.
• 신경기호 모델의 설명은 대부분 전문가를 대상으로 제작되어 있어, 더 사용자 우수한 해석 인터페이스가 필요하다는 점을 시사한다.
• 신경기호 모델과 비논리적 접근 방식(예: 딥 러닝, 의사결정 트리, 전통적 기호적 시스템) 간의 비교 평가가 뚜렷하게 부족한 상황이다.
• 신경기호 AI를 공정성 및 편향 완화와 통합하는 것은 유망하지만 아직 탐색되지 않은 분야이며, 이 분야를 다룬 논문은 소수에 불과하다.