[논문 리뷰] Reasoning on Knowledge Graphs with Debate Dynamics

Marcel Hildebrandt, Jorge Andres Quintero Serna외 4명|arXiv (Cornell University)|2020. 01. 02.

Topic Modeling참고 문헌 23인용 수 6

한 줄 요약

이 논문은 지식 그래프 추론을 위한 새로운 방법 R2D2를 제안한다. 이 방법은 삼중항 분류 문제를 사실의 주제(진술) 또는 반대 주제(거짓)를 주장하는 두 강화학습 에이전트 간의 논쟁으로 프레임화한다. 각 에이전트는 해석 가능한 경로(논거)를 생성하며, 이 논거는 이진 분류기(심판)에 의해 평가된다. 이로 인해 FB15k-237 및 WN18RR에서 최신 기준 성능을 달성하면서도 인간이 이해할 수 있는 설명을 제공하며, 정확도, AUC, hits@k 지표에서 기존 기준보다 뛰어난 성능을 보였다.

ABSTRACT

We propose a novel method for automatic reasoning on knowledge graphs based on debate dynamics. The main idea is to frame the task of triple classification as a debate game between two reinforcement learning agents which extract arguments -- paths in the knowledge graph -- with the goal to promote the fact being true (thesis) or the fact being false (antithesis), respectively. Based on these arguments, a binary classifier, called the judge, decides whether the fact is true or false. The two agents can be considered as sparse, adversarial feature generators that present interpretable evidence for either the thesis or the antithesis. In contrast to other black-box methods, the arguments allow users to get an understanding of the decision of the judge. Since the focus of this work is to create an explainable method that maintains a competitive predictive accuracy, we benchmark our method on the triple classification and link prediction task. Thereby, we find that our method outperforms several baselines on the benchmark datasets FB15k-237, WN18RR, and Hetionet. We also conduct a survey and find that the extracted arguments are informative for users.

연구 동기 및 목표

• 예측 성능을 유지하면서 통합된 투명성을 갖춘 지식 그래프 추론 방법을 개발한다.
• 예측에 대한 해석 가능하고 추적 가능한 논거를 제공하여 인간이 참여하는 의사결정을 가능하게 한다.
• 표준 지식 그래프 보완 작업, 특히 삼중항 분류 및 링크 예측에 대해 이 방법을 벤치마킹한다.
• 사용자 설문 조사를 통해 추출된 논거의 인간 해석 가능성 여부를 평가한다.
• 에이전트 간의 논쟁 역학이 지식 그래프 추론에서 설명 가능성과 성능 향상에 기여할 수 있는지 조사한다.

제안 방법

• 두 강화학습 에이전트가 주어진 삼중항의 진술(진실) 또는 반대 주제(거짓)를 주장하는 변호사 역할을 한다.
• 각 에이전트는 지식 그래프를 탐색하여 자신의 입장을 뒷받침하는 희박한 경로 기반 논거를 추출한다.
• 이진 분류기인 심판이 논거를 평가하고, 최종 진술의 진위 여부를 경로 증거에 기반해 결정한다.
• 에이전트는 심판의 최종 예측 결과에 기반한 보상으로 강화학습을 통해 훈련된다.
• 이 방법은 엔티티 및 관계 임베딩를 사용해 경로 탐색을 안내하지만, 최종 논거 집합에 대한 결정은 심판의 판단에 의존한다.
• 이 프레임워크는 인간이 논거를 검토할 수 있도록 지원하여 모델의 결정을 재검토하거나 수정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 두 대립적 에이전트 간의 논쟁 역학이 지식 그래프 추론에서 설명 가능성과 예측 성능 향상에 기여할 수 있는가?
• RQ2 에이전트가 추출한 논거는 정보적이며 인간의 직관과 일치하는가?
• RQ3 R2D2 모델은 삼중항 분류 및 링크 예측 작업에서 최신 기준 기준 모델과 경쟁 가능한 성능을 달성하는가?
• RQ4 심판의 결정이 에이전트가 제공한 논거의 품질과 관련성에 얼마나 의존하는가?
• RQ5 논거 품질과 결정 일치도에 대한 인간 평가를 통해 모델의 해석 가능성은 검증될 수 있는가?

주요 결과

• R2D2는 FB15k-237 및 WN18RR에서 삼중항 분류의 정확도, PR AUC, ROC AUC 측면에서 모든 기준 기준 모델을 앞서며 성능을 뛰어넘었다.
• FB15k-237의 일부 서브셋에서 R2D2는 링크 예측 성능에서도 경쟁력을 보였으며, MRR, 평균 순위, hits@k 지표에서 기준 모델과 동등하거나 이를 초월했다.
• 사용자 설문 조사에서 참가자 10명 중 9명이 추출된 논거만으로 문장의 올바른 분류를 내렸으며, 인간과 모델의 결정이 모두 일치했다.
• 사용자가 높은 자신감을 느꼈을 경우 정확도는 89%에 달했으나, 자신감이 낮을 경우 68.4%로 떨어졌으며, 이는 논거의 품질이 결정의 신뢰성과 관련이 있음을 시사한다.
• 절단 실험 결과에 따르면 논쟁 역학이 올바르게 작동함을 확인할 수 있었다: 한 에이전트의 논거만 고려할 경우, 긍정 예측 비율이 18.8% 증가하거나 70.2% 감소하는 등 결과가 에이전트에 따라 크게 달라졌다.
• 모델의 성능은 데이터 편향에 대해 강건했으며, 해석 가능한 논거를 통해 편향된 증거를 식별하고 결정에서 제외할 수 있는 잠재력도 지녔다.