[논문 리뷰] Variational Knowledge Graph Reasoning

Wenhu Chen, Wenhan Xiong외 2명|arXiv (Cornell University)|2018. 03. 17.

Advanced Graph Neural Networks참고 문헌 22인용 수 20

한 줄 요약

이 논문은 경로 탐색과 경로 추론을 잠재 변수로 경로를 모델링함으로써 지식 그래프에서 경로 탐색과 경로 추론을 통합하는 변분 추론 프레임워크인 Diva를 제안한다. 변분 추론을 통해 사후 근사기, 사전 분포(경로 탐색기), 가능도(경로 추론기)를 함께 최적화함으로써 Diva는 링크 예측 작업에서 최신 기술 수준의 성능을 달성하면서 노이즈 및 복잡한 추론 시나리오에 대한 강건성도 향상시킨다.

ABSTRACT

Inferring missing links in knowledge graphs (KG) has attracted a lot of attention from the research community. In this paper, we tackle a practical query answering task involving predicting the relation of a given entity pair. We frame this prediction problem as an inference problem in a probabilistic graphical model and aim at resolving it from a variational inference perspective. In order to model the relation between the query entity pair, we assume that there exists an underlying latent variable (paths connecting two nodes) in the KG, which carries the equivalent semantics of their relations. However, due to the intractability of connections in large KGs, we propose to use variation inference to maximize the evidence lower bound. More specifically, our framework ( extsc{Diva}) is composed of three modules, i.e. a posterior approximator, a prior (path finder), and a likelihood (path reasoner). By using variational inference, we are able to incorporate them closely into a unified architecture and jointly optimize them to perform KG reasoning. With active interactions among these sub-modules, extsc{Diva} is better at handling noise and coping with more complex reasoning scenarios. In order to evaluate our method, we conduct the experiment of the link prediction task on multiple datasets and achieve state-of-the-art performances on both datasets.

연구 동기 및 목표

• 기존의 지식 그래프 추론 방법이 경로 탐색과 경로 추론을 별개의 상호작용 없는 과정으로 간주하는 한계를 해결하기 위해.
• 경로 탐색 모듈과 경로 추론 모듈 간의 능동적 상호작용을 통해 노이즈 및 악성 샘플에 대한 강건성을 향상시키기 위해.
• 경로를 잠재 변수로 모델링하고 변분 추론을 통한 공동 최적화를 수행하는 통합 확률 프레임워크를 개발하기 위해.
• 모델의 일반화 능력과 미리 보지 못한 추론 시나리오에서의 성능 향상을 위해 훈련 중에 부정 샘플을 명시적으로 통합하기 위해.
• 다중 힙 링크 예측에서 높은 정확도를 유지하면서 대규모 지식 그래프로의 확장성을 확보하기 위해.

제안 방법

• 프레임워크는 엔티티 쌍 간의 관계를 확률적 그래픽 모델에서 잠재 변수(경로)로 모델링하며, 경로 탐색 모듈은 사전 분포로 기능한다.
• 경로 추론 모듈은 가능도 분포로 기능하며, 학습된 표현 기반으로 경로를 관계 클래스로 분류한다.
• 진짜 사후 분포를 추정하기 위해 사후 근사기가 도입되어 있으며, 이는 변분 추론을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 모델은 신경망 기반 구성 요소를 사용하여 사전, 가능도, 사후 근사기를 함께 최적화하기 위해 증거 하한 경계(ELBO)를 최대화한다.
• 경로 탐색기는 고정된 빔 크기를 사용하는 빔 서치를 통해 다수의 후보 경로를 탐색하는 반면, 경로 추론기는 학습된 표현을 사용해 각 경로에 점수를 매긴다.
• 훈련 중에 부정 샘플이 명시적으로 통합되어 강건성 향상과 과적합 방지를 도모한다.

실험 결과

연구 질문

• RQ1 경로 탐색과 경로 추론을 통합된 프레임워크에서 공동 최적화함으로써 추론 성능 향상을 어떻게 달성할 수 있는가?
• RQ2 변분 추론 프레임워크에서 경로를 잠재 변수로 모델링하면 노이즈가 많거나 완전하지 않은 지식 그래프에 대한 강건성이 향상되는가?
• RQ3 훈련 중에 부정 샘플을 통합함으로써 다중 힙 지식 그래프 추론에서 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 경로 탐색기와 경로 추론기 모듈 간의 상호작용은 복잡한 추론 작업 성능에 어떤 영향을 미치는가?
• RQ5 경로 다양성과 노이즈 간의 균형을 고려할 때, 경로 탐색 과정에서 최적의 빔 크기는 무엇인가?

주요 결과

• Diva는 링크 예측을 위한 두 가지 유명한 지식 그래프 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며 이전 방법들을 능가한다.
• 경로 탐색기와 경로 추론기 모듈 간의 능동적 상호작용 덕분에 노이즈 및 악성 샘플에 대한 강건성이 향상됨을 입증하였다.
• 비교 분석에서 빔 크기 5가 경로 다양성과 노이즈 사이의 최적의 균형을 제공하는 것으로 나타났다 (MAP 및 오류 비율 곡선 참조).
• 오류 분석 결과 대부분의 실패 원인은 지식 그래프의 노이즈(예: 누락 또는 중복 엔티티)에서 기인하며, '틀린 추론' 오류는 주로 경로 추론기에 기인하여 더 나은 알고리즘으로 개선 가능함을 확인하였다.
• 공동 훈련과 부정 샘플 활용 덕분에 대규모 지식 그래프로의 확장에 성공했고, 미리 보지 못한 추론 시나리오로의 일반화 능력도 뛰어나다.
• 표 5의 실패 사례는 '중복 엔티티' 및 '누락된 엔티티' 문제의 대부분이 지식 그래프 품질 문제에서 기인하는 반면, '틀린 추론' 오류는 모델 전용이며 향상 가능함을 보여준다.