[논문 리뷰] Go for a Walk and Arrive at the Answer: Reasoning Over Paths in Knowledge Bases using Reinforcement Learning

Rajarshi Das, Shehzaad Dhuliawala외 6명|arXiv (Cornell University)|2017. 11. 15.

Topic Modeling참고 문헌 58인용 수 356

한 줄 요약

이 논문은 쿼리 질문에 답하기 위해 지식 그래프를 탐색하는 강화 학습 에이전트 Minerva를 소개하며, 사전 계산된 경로 없이 추론 경로를 발견하고 여러 데이터셋에서 경쟁력 있는 결과를 보여준다.

ABSTRACT

Knowledge bases (KB), both automatically and manually constructed, are often incomplete --- many valid facts can be inferred from the KB by synthesizing existing information. A popular approach to KB completion is to infer new relations by combinatory reasoning over the information found along other paths connecting a pair of entities. Given the enormous size of KBs and the exponential number of paths, previous path-based models have considered only the problem of predicting a missing relation given two entities or evaluating the truth of a proposed triple. Additionally, these methods have traditionally used random paths between fixed entity pairs or more recently learned to pick paths between them. We propose a new algorithm MINERVA, which addresses the much more difficult and practical task of answering questions where the relation is known, but only one entity. Since random walks are impractical in a setting with combinatorially many destinations from a start node, we present a neural reinforcement learning approach which learns how to navigate the graph conditioned on the input query to find predictive paths. Empirically, this approach obtains state-of-the-art results on several datasets, significantly outperforming prior methods.

연구 동기 및 목표

• 부분적으로 완전하지 않은 지식 베이스에 대한 자동화된 추론과 확장 가능한 경로 기반 추론의 필요성을 제시한다.
• 쿼리에 조건화된 KB 그래프를 탐색하여 답변 노드를 찾는 신경망 강화 학습 에이전트를 제안한다.
• 가변 길이의 추론 경로를 가능하게 하고 사전 계산된 경로 집합을 제거한다.
• 강화 학습으로 처음부터 학습하고 다양한 KB 데이터세트에서 평가하는 엔드투엔드 학습 프레임워크를 제공한다.

제안 방법

• 지식 그래프에서 질의 응답을 유한-시간 결정적 부분 관찰 가능 마르코프 결정 프로세스로 형식화한다.
• 상태를 (현재 엔터티, 쿼리 헤드, 쿼리 관계, 실제 정답)로 정의하고 관측은 (현재 엔터티, 쿼리 헤드, 쿼리 관계)로 정의한다.
• 경로 이력과 쿼리 관계를 인코딩하는 정책 네트워크(LSTM 기반)를 사용하여 각 단계에서 나가는 라벨링된 간선 액션을 선택한다.
• 에이전트가 되돌아가고 잘못된 단계를 되돌리도록 역 관계를 도입한다.
• 변동성 감소를 위한 이동 평균 베이스라인을 사용한 REINFORCE로 학습하고, 탐색을 촉진하기 위해 엔트로피 정규화를 추가한다.
• 추론 중 빔 탐색을 지원하여 경로 확률에 따라 후보 답을 순위화한다.

실험 결과

연구 질문

• RQ1 RL 에이전트가 꼬리 엔티티가 알려지지 않은 상태에서 큰 지식 그래프를 탐색하여 질의에 답하는 것을 학습할 수 있는가?
• RQ2 입력 쿼리에 조건화된 경로 선택이 무작위 워크 baselines에 비해 경로 발견을 개선하는가?
• RQ3 작은 데이터세트와 큰 데이터세트에서 임베딩 기반 및 논리 규칙 기반 KB 보완 방법에 비해 Minerva의 성능은 어떤가?
• RQ4 Minerva가 부분적으로 구조화된 자연어 질의와 긴 추론 사슬을 처리할 수 있는가?
• RQ5 추론 시간에서 확장 가능하고 다양한 KB에 걸쳐 학습에 대해 견고한가?

주요 결과

• Minerva는 일곱 개의 지식 기반 데이터세트에서 경쟁력 있는 성과를 달성하며 종종 여러 기준선보다 우수하다.
• 작은 데이터세트 Kinship 및 UMLS에서 임베딩 방법이 Minerva보다 우수하지만, Minerva는 여러 지표에서 NeuralLP 및 NTP에 맞추거나 능가한다.
• 대규모 데이터세트 wn18rr, fb15k-237, nell-995에서는 Minerva가 일반적으로 경로 기반 기준선보다 우수하고 임베딩 방법에 비해 특정 지표에서 특히 경쟁력 있는 성능을 보인다.
• Minerva는 부분적으로 구조화된 자연어 질의로 확장될 수 있으며, WikiMovies에서 경쟁력 있는 정확도로 시연되었다.
• 모델은 더 긴 사슬에 대해 추론하는 능력을 보여주고 모든 엔티티를 점수화하기보다 로컬 그래프 이웃을 탐색하여 효율적인 추론을 제공한다.