[논문 리뷰] Neurosymbolic AI for Reasoning over Knowledge Graphs: A Survey

Lauren Nicole DeLong, Ramon Fernández Mir외 1명|arXiv (Cornell University)|2023. 02. 14.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 종합 검토에서는 지식 그래프 추론을 위한 신경기호 AI 방법에 대한 새로운 분류 체계를 제안한다. 이는 논리적으로 정보가 제공된 임bedding, 논리적 제약 조건이 적용된 임베딩, 규칙 학습 접근법의 세 가지 유형으로 분류된다. 코드 링크를 포함한 방법 간의 종합적 비교를 제공하며, 설명 가능성, 소수 샘플 학습, 지식 그래프 기반의 시공간 추론 분야에서의 핵심 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Neurosymbolic AI is an increasingly active area of research that combines symbolic reasoning methods with deep learning to leverage their complementary benefits. As knowledge graphs are becoming a popular way to represent heterogeneous and multi-relational data, methods for reasoning on graph structures have attempted to follow this neurosymbolic paradigm. Traditionally, such approaches have utilized either rule-based inference or generated representative numerical embeddings from which patterns could be extracted. However, several recent studies have attempted to bridge this dichotomy to generate models that facilitate interpretability, maintain competitive performance, and integrate expert knowledge. Therefore, we survey methods that perform neurosymbolic reasoning tasks on knowledge graphs and propose a novel taxonomy by which we can classify them. Specifically, we propose three major categories: (1) logically-informed embedding approaches, (2) embedding approaches with logical constraints, and (3) rule learning approaches. Alongside the taxonomy, we provide a tabular overview of the approaches and links to their source code, if available, for more direct comparison. Finally, we discuss the unique characteristics and limitations of these methods, then propose several prospective directions toward which this field of research could evolve.

연구 동기 및 목표

• 지식 그래프(KG)에서 설명 가능하고 지식이 통합된 추론의 증가하는 수요를 해결하기 위해 신경기호 AI 방법을 종합적으로 검토하는 것.
• 희귀 관계 유형, 장거리 종속성, 이질적 정보 처리에 있어 현재의 지식 그래프 추론 접근법의 한계를 규명하는 것.
• 기호적 요소와 신경망 요소의 통합 방식에 따라 분류하는 아키텍처 기반의 새로운 분류 체계를 제안하는 것.
• 가용한 소스 코드를 포함한 기존 방법에 대한 비교 개요를 제공하여 재현 가능성과 벤치마킹을 지원하는 것.
• 향후 개발을 위한 새로운 연구 방향, 예를 들어 시공간 추론과 소수 샘플 학습을 규명하는 것.

제안 방법

• 이 논문은 삼단계 분류 체계를 도입한다: (1) 논리적으로 정보가 제공된 임베딩 접근법, 기호적 추론이 신경망 임베딩 학습 이전 또는 이후에 적용되는 방식; (2) 학습 중 기호적 규칙을 강제 적용하는 논리적 제약 조건이 적용된 임베딩 방법; (3) 지식 그래프 데이터에서 직접적으로 기호적 규칙을 발견하는 규칙 학습 접근법.
• 저자들은 각 범주를 설명 가능성, 지도 학습, 부족한 유형 처리, 장거리 종속성, 이질적 정보의 집계 등 핵심 특성 기반으로 분석한다.
• 표 형태의 비교 자료를 제공하여 방법의 접근 방식, 모델 아키텍처, 데이터셋 성능, 소스 코드 가용성 등을 요약한다.
• 재현 가능성과 접근성을 향상시키기 위해 공개된 소스 코드 리포지토리들을 종합하여 중앙 집중식 GitHub 페이지로 정리한다.
• 논문은 지식 그래프 보완(KGC) 작업에서 특히 중요한 평가 지표인 평균 역순위(MRR)와 Hits@10를 사용하여 방법을 평가한다.
• 신경기호 모델이 생물학적 또는 교통망 제약 조건과 같은 도메인 전용 지식을 기호적 규칙이나 제약 조건으로 인코딩하여 통합할 수 있는 방법을 논의한다.

실험 결과

연구 질문

• RQ1 신경기호 AI는 지식 그래프 추론에서 기호적 추론의 설명 가능성과 딥 러닝의 표현 능력 사이를 어떻게 효과적으로 균형 잡을 수 있는가?
• RQ2 지식 그래프에서 신경기호 방법을 구분하는 주요 아키텍처 패턴은 무엇이며, 기호적 요소와 신경망 요소는 어떻게 통합되는가?
• RQ3 신경기호 방법은 지식 그래프에서 희귀하거나 부족한 관계 유형에서 성능을 어떻게 향상시킬 수 있는가?
• RQ4 신경기호 모델은 유전자 발현이나 교통 흐름을 모델링하는 시공간 지식 그래프에서 어떻게 추론할 수 있는가?
• RQ5 신경기호 지식 그래프 추론 분야에서 가장 유망한 향후 연구 방향은 무엇이며, 특히 소수 샘플 학습과 동적 환경 모델링 분야에서 어떤가?

주요 결과

• 제안된 분류 체계는 신경기호 방법을 논리적으로 정보가 제공된 임베딩, 제약 조건이 적용된 임베딩, 규칙 학습 접근법의 세 가지 유형으로 효과적으로 분류하며, 각각 설명 가능성과 일반화 능력에서 고유한 강점을 지닌다.
• pLogicNet와 pGAT와 같은 방법은 희귀 관계에 대한 훈련 데이터를 늘리기 위해 논리적으로 추론된 삼중항을 지식 그래프에 추가함으로써 소수 샘플 학습 성능을 향상시킨다.
• 다양한 기계적 논리나 제약 기반 최적화를 사용하는 논리적 제약 조건이 적용된 임베딩 모델은 장거리 종속성과 분포 외의 개체 처리에 있어 더 높은 강건성과 일반화 능력을 보인다.
• 생물학적 네트워크에서 mRNA 반감기 제약 조건과 같은 도메인 전용 규칙을 통합하면 지식 그래프의 시공간 동역학을 더 현실적으로 모델링할 수 있다.
• 이 조사에서는 표준화된 벤치마크와 소스 코드 가용성의 부족을 지적하며, 재현 가능성과 다수 방법 간 비교를 지원하기 위해 중앙 집중식 리포지토리가 필요하다고 강조한다.
• 저자들은 신경기호 접근법이 과학적 및 의료 지식 그래프 응용 분야에서 높은 성능와 설명 가능성을 동시에 확보할 수 있는 하이브리드 AI 시스템의 실현 가능한 길을 제공한다고 결론 내린다.