[논문 리뷰] Dynamic Anticipation and Completion for Multi-Hop Reasoning over Sparse Knowledge Graph

Xin Lv, Xu Han외 7명|arXiv (Cornell University)|2020. 10. 05.

Advanced Graph Neural Networks참고 문헌 27인용 수 5

한 줄 요약

이 논문은 사전 훈련된 임베딩 예측을 통한 경로 탐색 가이드와 추론 중 합성 관계를 통합하는 동적 완성 기반으로, 희소 지식 그래프를 위한 강화학습 기반의 다단계 추론 모델인 DacKGR을 제안한다. 다섯 개의 데이터셋에서의 실험 결과, DacKGR은 스parse한 환경에서도 스parse한 경로 확장과 예측을 통해 희소성 문제를 효과적으로 완화함으로써 최신 기준 모델들을 능가하는 성능을 보였다.

ABSTRACT

Multi-hop reasoning has been widely studied in recent years to seek an effective and interpretable method for knowledge graph (KG) completion. Most previous reasoning methods are designed for dense KGs with enough paths between entities, but cannot work well on those sparse KGs that only contain sparse paths for reasoning. On the one hand, sparse KGs contain less information, which makes it difficult for the model to choose correct paths. On the other hand, the lack of evidential paths to target entities also makes the reasoning process difficult. To solve these problems, we propose a multi-hop reasoning model named DacKGR over sparse KGs, by applying novel dynamic anticipation and completion strategies: (1) The anticipation strategy utilizes the latent prediction of embedding-based models to make our model perform more potential path search over sparse KGs. (2) Based on the anticipation information, the completion strategy dynamically adds edges as additional actions during the path search, which further alleviates the sparseness problem of KGs. The experimental results on five datasets sampled from Freebase, NELL and Wikidata show that our method outperforms state-of-the-art baselines. Our codes and datasets can be obtained from https://github.com/THU-KEG/DacKGR

연구 동기 및 목표

• 제한된 경로와 낮은 연결성으로 인해 효과적인 추론이 어려운 희소 지식 그래프에서의 다단계 추론 문제를 해결한다.
• 부족한 경로 증거와 약한 가이던스로 인해 희소 지식 그래프에서 성능이 급격히 떨어지는 기존 강화학습 기반 모델의 한계를 극복한다.
• 외부 텍스트나 도메인 전용 데이터에 의존하지 않고도 추론 성능을 향상시킬 수 있는 일반화된 종단 간 프레임워크를 개발한다.
• 유연하게 경로 예측과 누락된 관계 보완을 실시간으로 수행함으로써 추론 과정을 적응적으로 향상시키는 동적 전략을 도입한다.

제안 방법

• 사전 훈련된 지식 그래프 임베딩 모델의 예측을 강화학습 에이전트의 상태에 통합하여 경로 선택을 안내하는 동적 예측 전략을 적용한다.
• 사전 훈련된 임베딩 모델을 사용해 주어진 헤드 엔티티와 관계에 대해 잠재적인 테일 엔티티를 예측하고, 추론 중에 합성(추가) 행동을 생성한다.
• 각 추론 단계에서 예측된 (관계, 엔티티) 쌍을 유효한 행동으로 추가하여 액션 공간을 동적으로 확장함으로써 경로 탐색 옵션을 증가시킨다.
• REINFORCE 알고리즘을 사용하여 예측과 보완 전략을 강화학습 프레임워크에 통합하여 경로 탐색 정책을 최적화한다.
• 추가 행동 선택을 위한 신뢰도 임계값(α)을 조정하여 탐색과 이용의 균형을 유지한다.
• Freebase, NELL, Wikidata에서 샘플링한 희소 지식 그래프를 사용하여 종단 간으로 에이전트를 훈련시키며, 실제 저연결성 환경을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 희소 연결성과 제한된 경로 증거를 가진 지식 그래프에서 다단계 추론은 어떻게 향상시킬 수 있는가?
• RQ2 사전 훈련된 지식 그래프 임베딩은 희소 추론 환경에서 강화학습 에이전트를 효과적으로 가이드하는 데 활용될 수 있는가?
• RQ3 동적으로 추가된 관계(완성)는 희소 지식 그래프에서 강화학습 에이전트의 추론 능력을 어느 정도 향상시킬 수 있는가?
• RQ4 예측과 보완 전략의 조합은 희소 데이터셋에서 기준 방법에 비해 성능에 어떤 영향을 미치는가?

주요 결과

• DacKGR은 Freebase, NELL, Wikidata에서 샘플링한 다섯 개의 벤치마크 데이터셋(FB15K-237, WN18RR, NELL23K, WD-singer 포함)에서 최신 기준 성능을 달성한다.
• 가장 희소한 데이터셋인 WD-singer에서 DacKGR은 기존의 기준 모델들을 뛰어넘는 성능을 보이며, 저연결성 환경에서의 효과성을 입증한다.
• 동적 보완 전략은 원래 지식 그래프에 직접 경로가 존재하지 않을 경우에도 유효한 추론 경로를 발견할 수 있도록 해주며, 사례 연구를 통해 이를 확인했다.
• 동적 예측 전략은 정보 기반 가이던스를 제공함으로써 무작위 탐색을 줄이고, 샘플 효율성과 수렴 속도를 향상시킨다.
• 다양한 희소성 수준에서도 성능이 안정적으로 유지되며, FB15K-237-50%와 같이 중간 정도로 희소한 데이터셋에서도 성능 저하가 최소한이다.
• 제거 실험 결과, 예측과 보완 전략이 독립적으로나 상호 보완적으로 성공에 기여하며, 특히 매우 희소한 그래프에서는 보완 전략이 가장 큰 영향을 미친다.