[논문 리뷰] Collaborative Policy Learning for Open Knowledge Graph Reasoning

Cong Fu, Tong Chen외 3명|arXiv (Cornell University)|2019. 08. 31.

Advanced Graph Neural Networks참고 문헌 19인용 수 4

한 줄 요약

이 논문은 개방형 지식 그래프 추론 성능을 향상시키기 위해 추론 에이전트와 사실 추출 에이전트를 공동으로 훈련하는 강화학습 프레임워크인 협업 정책 학습(CPL)을 제안한다. 사실 추출 에이전트는 텍스트 코퍼스에서 관련 사실을 동적으로 지식 그래프에 보완하고, 추론 에이전트는 피드백을 제공하여 추출 에이전트가 유용한 사실로 향하도록 이끈다. 이로 인해 희박한 그래프에서 경로 탐색 성능과 해석 가능성 모두 크게 향상된다.

ABSTRACT

In recent years, there has been a surge of interests in interpretable graph reasoning methods. However, these models often suffer from limited performance when working on sparse and incomplete graphs, due to the lack of evidential paths that can reach target entities. Here we study open knowledge graph reasoning---a task that aims to reason for missing facts over a graph augmented by a background text corpus. A key challenge of the task is to filter out "irrelevant" facts extracted from corpus, in order to maintain an effective search space during path inference. We propose a novel reinforcement learning framework to train two collaborative agents jointly, i.e., a multi-hop graph reasoner and a fact extractor. The fact extraction agent generates fact triples from corpora to enrich the graph on the fly; while the reasoning agent provides feedback to the fact extractor and guides it towards promoting facts that are helpful for the interpretable reasoning. Experiments on two public datasets demonstrate the effectiveness of the proposed approach. Source code and datasets used in this paper can be downloaded at https://github.com/shanzhenren/CPL

연구 동기 및 목표

• 증거 경로가 부족하여 성능이 떨어지는 희박하고 불완전한 지식 그래프 문제를 해결한다.
• 추론 과정 중 배경 텍스트 코퍼스에서 추출한 사실을 이용해 지식 그래프를 동적으로 보강할 수 있도록 한다.
• 지식 그래프 보강 과정에서 관련성 없거나 잡음이 많은 사실들을 걸러내어 탐색 공간과 확장성 문제를 줄인다.
• 추가된 사실이 의미적으로 관련성이 있도록 보장함으로써 추론 경로의 해석 가능성 향상.
• 추론 성능 향상을 위해 추론 피드백이 사실 추출 정책을 이끄는 협업 학습 프레임워크를 개발한다.

제안 방법

• 경로 탐색을 위한 추론 에이전트와 텍스트 코퍼스에서 관련 사실을 선택하기 위한 사실 추출 에이전트를 강화학습으로 동시에 훈련시킨다.
• 사실 추출 에이전트가 맥락과 추론 진행 상황에 따라 지식 그래프에 간선을 동적으로 추가할 수 있는 공통 환경을 사용한다.
• 목표 엔티티에 성공적으로 도달할 경우 추론 에이전트에게 고밀도 보상 신호를 제공하고, 이를 후방 전파하여 사실 추출 에이전트에 영향을 준다.
• 훈련 초기에 고품질의 양성 경험을 조기에 생성하기 위해 적응형 샘플링을 적용하여 정책 학습의 안정성을 높인다.
• 정책 그래เดียน트 기반 최적화를 사용하여 두 에이전트를 공동으로 훈련하며, 사실 추출 정책은 추론 에이전트의 성공 여부에 따라 이끌린다.
• 기존의 경로 기반 추론 모델들(예: Multi-Hop, ConvE, RotatE)과 통합하여 아키텍처 변경 없이 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 텍스트 코퍼스에서 관련 사실을 동적으로 보강함으로써 협업 강화학습 프레임워크가 희박하고 불완전한 지식 그래프에서 추론 성능을 향상시킬 수 있는가?
• RQ2 유용한 경로 추론을 지원하면서도 관련성 없거나 잡음이 많은 사실들을 걸러내는 사실 추출 정책은 어떻게 훈련할 수 있는가?
• RQ3 추론 에이전트의 피드백이 시간이 지남에 따라 추출된 사실의 질을 얼마나 향상시키는가?
• RQ4 예측 정확도를 향상시키는 동안 추론 경로의 해석 가능성은 유지되는가?
• RQ5 적응형 샘플링 전략은 협업 정책 학습 과정의 수렴성과 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 CPL 프레임워크는 UMLS-PubMed 및 OpenKE라는 두 개의 공개 데이터셋에서 지식 그래프 추론 성능을 크게 향상시켜 강력한 베이스라인을 압도한다.
• 사실 추출 에이전트는 높은 sug_edge/pos_path 비율을 통해 관련성이 높은 사실을 제안하는 것을 학습하여 효과적인 엣지 걸러내기 능력을 보였다.
• 적응형 샘플링의 조기 정지로 인해 훈련 중에 골짜기 모양의 성능 곡선이 나타났지만, 에이전트가 안정적인 탐색 정책을 학습함에 따라 모델은 회복하고 성능을 향상시켰다.
• 아블레이션 연구 결과에서 적응형 샘플링을 제거하거나 추출기를 고정시키면 성능이 떨어지며, 이는 공동 훈련과 동적 적응의 중요성을 확인한다.
• 사례 연구를 통해 CPL은 경로 패턴을 학습하고 이러한 패턴과 일치하는 사실을 추출함으로써 추론의 해석 가능성을 향상시켜 모델의 투명성을 높인다.
• 프레임워크는 일반화 가능하며 다양한 경로 탐색 모듈(Multi-Hop with ConvE 또는 RotatE 등)과 통합되어 추론 모듈의 발전에 따라 성능 향상을 이룬다.