[논문 리뷰] Cognitive Knowledge Graph Reasoning for One-shot Relational Learning

Zhengxiao Du, Chang Zhou외 3명|arXiv (Cornell University)|2019. 06. 13.

Advanced Graph Neural Networks참고 문헌 39인용 수 24

한 줄 요약

CogKR는 인지 지식 그래프 추론 프레임워크를 통해 단일 예제 관계 학습을 위한 요약 모듈과 이중 처리 이론에 영감을 받은 추론 모듈을 결합한다. 이는 반복적 검색(시스템 1)과 관계 추론(시스템 2)을 인지 그래프에서 수행한다. 이 프레임워크는 표준 단일 예제 지식 그래프 추론 벤치마크에서 최신 기술 대비 MRR 상대 개선률 24.3%~29.7%를 달성하며, 설명 가능하고 부분그래프 기반의 추론 경로를 제공한다.

ABSTRACT

Inferring new facts from existing knowledge graphs (KG) with explainable reasoning processes is a significant problem and has received much attention recently. However, few studies have focused on relation types unseen in the original KG, given only one or a few instances for training. To bridge this gap, we propose CogKR for one-shot KG reasoning. The one-shot relational learning problem is tackled through two modules: the summary module summarizes the underlying relationship of the given instances, based on which the reasoning module infers the correct answers. Motivated by the dual process theory in cognitive science, in the reasoning module, a cognitive graph is built by iteratively coordinating retrieval (System 1, collecting relevant evidence intuitively) and reasoning (System 2, conducting relational reasoning over collected information). The structural information offered by the cognitive graph enables our model to aggregate pieces of evidence from multiple reasoning paths and explain the reasoning process graphically. Experiments show that CogKR substantially outperforms previous state-of-the-art models on one-shot KG reasoning benchmarks, with relative improvements of 24.3%-29.7% on MRR. The source code is available at https://github.com/THUDM/CogKR.

연구 동기 및 목표

• 지식 그래프에서 단 하나 또는 몇 개의 훈련 예제만으로도 새로운 관계 유형에 대한 사실을 추론하는 데 도전하는 것.
• 단일 예제 환경에서 해석 불가능성과 다단계 추론의 부재를 겪는 기존 임베딩 기반 방법의 한계를 극복하는 것.
• 특히 이중 처리 이론을 포함한 인지 과학 원리를 지식 그래프 추론에 통합하여 일반화 능력과 해석 가능성 향상에 기여하는 것.
• 단일 경로 탐색에 의존하는 것과는 달리, 여러 경로와 부분그래프에서의 증거를 집계하는 확장 가능한 그래프 기반 추론 메커니즘 개발

제안 방법

• 요약 모듈은 지식 그래프의 엔터티 표현을 사용하여 단일 지원 트리플의 기본 관계를 연속 벡터로 인코딩한다.
• 추론 모듈은 지식 그래프의 주변에서 관련 엔터티와 관계를 반복적으로 검색하여 인지 그래프를 구성하며, 이는 시스템 1의 직관적 검색을 시뮬레이션한다.
• 다양한 추론 단계를 거쳐 노드 표현을 업데이트하는 미분 가능한 신경망을 사용하여 인지 그래프 상에서 관계 추론을 수행한다. 이는 시스템 2의 명시적 추론을 모방한다.
• 인지 그래프는 반복 과정 동안 동적으로 확장되고 업데이트되며, 구조적 정보를 유지하고 다중 경로 증거 집계를 가능하게 한다.
• 최종 예측은 인지 그래프 내 최종 노드 표현 기반으로 이루어지며, 다양한 추론 경로에서 온 증거의 가중치를 계산하기 위해 주의 메커니즘이 사용된다.
• 요약 모듈을 다수의 지원 예제를 처리할 수 있도록 확장함으로써, 단일 예제 학습뿐만 아니라 소수 예제 학습도 지원한다.

실험 결과

연구 질문

• RQ1 이중 처리 이론에 기반한 인지 그래프 추론 프레임워크는 순수 임베딩 기반 방법에 비해 지식 그래프의 단일 예제 관계 학습에서 성능을 향상시킬 수 있는가?
• RQ2 단일 경로 기반 방법과 비교해 복잡한 다중 경로 증거를 부분그래프 기반 추론 메커니즘이 얼마나 효과적으로 포착할 수 있는가?
• RQ3 시스템 1(검색)과 시스템 2(추론)의 통합이 낮은 데이터 환경에서 추론 정확도와 강건성에 얼마나 기여하는가?
• RQ4 제안된 방법은 복잡한 관계 구조에서도 인간이 이해할 수 있는 추론 경로를 생성하여 예측을 설명할 수 있는가?

주요 결과

• CogKR는 표준 단일 예제 지식 그래프 추론 벤치마크에서 최신 기술 대비 MRR 상대 개선률 24.3%~29.7%를 달성한다.
• 모델은 단일 경로 추론에 의존하는 것과는 달리 부분그래프 수준의 증거를 활용함으로써 더 강력한 추론 성능을 보인다.
• 모델은 설명 가능한 추론 그래프를 생성하여 다중 경로, 삼각형, 복잡한 부분그래프를 시각화하며, 이는 경로 기반 방법이 완전히 모델링하지 못하는 요소들이다.
• 인지 그래프 구조 덕분에 추론 복잡도에 관계없이 다양한 증거를 효과적으로 집계할 수 있어 추론 과정이 강건하다.
• 기준 모델이 후보 엔터티 수에 따라 선형적으로 증가하는 것과는 달리, CogKR는 후보 엔터티 수에 관계없이 일정한 추론 시간을 유지한다.
• 비연결 지식 그래프에서는 성능에 한계를 보이며, 향후 연구는 미리 연결되지 않은 노드를 확장할 수 있도록 검색 기능을 강화해야 할 필요가 있다.