[논문 리뷰] DeepPath: A Reinforcement Learning Method for Knowledge Graph Reasoning

Wenhan Xiong, Thien Hoang외 1명|arXiv (Cornell University)|2017. 07. 20.

Advanced Graph Neural Networks참고 문헌 23인용 수 108

한 줄 요약

tldr: 정책 기반 강화 학습 프레임워크(DeepPath)를 도입하여 대규모 지식 그래프에서 다중 홉 관계 경로를 학습하고, 정확성, 다양성, 효율성을 균형 있게 보상하는 보상 함수의 가이드 하에 수행됩니다. FB15K-237) 및 NELL 데이터셋에서 PRA 및 KG 임베딩 방법보다 우수합니다.

ABSTRACT

We study the problem of learning to reason in large scale knowledge graphs (KGs). More specifically, we describe a novel reinforcement learning framework for learning multi-hop relational paths: we use a policy-based agent with continuous states based on knowledge graph embeddings, which reasons in a KG vector space by sampling the most promising relation to extend its path. In contrast to prior work, our approach includes a reward function that takes the accuracy, diversity, and efficiency into consideration. Experimentally, we show that our proposed method outperforms a path-ranking based algorithm and knowledge graph embedding methods on Freebase and Never-Ending Language Learning datasets.

연구 동기 및 목표

• 대규모 지식 그래프에서 다중 홉 추론을 촉진하고 PRA와 같은 이산 경로 방법의 한계를 해결한다.
• 연속 임베딩 공간에서 작동하는 정책 기반 RL 에이전트를 제안하여 유용한 관계 경로를 발견한다.
• 탐색된 경로의 정확도, 다양성, 효율성을 함께 최적화하는 보상 함수를 설계한다.
• 벤치마크 KG 데이터세트에서 PRA 및 임베딩 방법에 비해 확장성과 실증적 우수성을 입증한다.

제안 방법

• TransE-스타일 임베딩에서 파생된 연속 상태 표현을 가진 MDP로 KG 추론 과제를 모델링한다.
• 각 단계에서 모든 관계를 액션으로 하는 확률을 출력하는 정책 네트워크를 사용한다.
• REINFORCE와 모방 학습에서 영감을 받은 감독 사전 학습 단계(무작위화된 BFS 경로)를 사용하여 정책을 학습한다.
• 전역 정확도(+1 대상 도달 시, -1 여부)와 경로 길이에 따른 효율성(1/length), 다양성(-과거 경로와의 평균 코사인 유사도)을 결합한 보상 함수를 도입한다.
• 평가 시 학습된 추론 공식을 효율적으로 검증하기 위해 양방향 경로 제약 검색을 적용한다.
• 정책 업데이트를 위해 L2 정규화와 함께 Adam 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 KG 임베딩 공간에서의 강화 학습이 신뢰할 수 있는 다중 홉 추론 경로를 학습할 수 있는가?
• RQ2 정확도, 다양성, 효율성을 균형 있게 보상하는 보상 함수가 이전의 경로 기반 방법에 비해 경로 품질과 학습 효율성을 향상시키는가?
• RQ3 RL 기반 DeepPath가 표준 KG 데이터셋에서 PRA 및 KG 임베딩 방법과 연결 및 사실 예측 작업에서 어떻게 비교되는가?
• RQ4 대규모 KG에서 감독 사전 학습 및 양방향 검색을 통한 경로 검증이 확장성과 성능에 도움이 되는가?
• RQ5 발견된 RL 경로가 전통적 경로 순위 매기기나 임베딩 접근 방식보다 더 짧고 다양한가?

주요 결과

• RL 기반의 DeepPath가 FB15K-237 및 NELL-995에서 연결 예측에 대해 MAP로 측정했을 때 PRA 및 임베딩 방법보다 우수하다.
• DeepPath는 PRA보다 훨씬 더 적고 예측력이 높은 추론 경로를 발견한다(예: 작업당 평균 경로 수가 크게 감소).
• 글로벌 정확도, 효율성, 다양성의 조합된 보상으로 경로 품질이 더 양적·질적으로 향상된다.
• 양방향 경로 검증은 탐색 복잡성을 줄이고 학습된 경로를 평가할 때 강인성을 높인다.
• 대규모 액션 공간에서의 RL 수렴에 감독 사전 학습이 크게 도움되며 훈련 중 조기 성공률(succ_10)이 개선된다.
• 사실 예측 작업에서 DeepPath는 대부분의 관계/데이터세트에 대해 임베딩 베이스라인을 일반적으로 상회한다.