[논문 리뷰] Fact Checking in Large Knowledge Graphs - A Discriminative Predicate Path Mining Approach.

Baoxu Shi, Tim Weninger|arXiv (Cornell University)|2015. 10. 20.

Complex Network Analysis Techniques참고 문헌 33인용 수 9

한 줄 요약

이 논문은 지식 그래프 내의 문장들을 링크 예측 작업으로 모델링하여 대규모 지식 그래프에서 사실 확인을 자동화하기 위해 분류적 술어 경로 탐색 방법을 제안한다. 이는 사실적 진술을 검증하기 위해 그래프 내에서 최상의 분류적 경로를 식별하며, 기존의 기준 모델들보다 뛰어난 정확도를 달성하면서도 구조화된 지식에 기반한 해석 가능한 추론을 제공한다.

ABSTRACT

Traditional fact checking by experts and analysts cannot keep pace with the volume of newly created information. It is important and necessary, therefore, to enhance our ability to computationally determine whether some statement of fact is true or false. We view this problem as a link-prediction task in a knowledge graph, and show that a new model of the top discriminative predicate paths is able to understand the meaning of some statement and accurately determine its veracity. We evaluate our approach by examining thousands of claims related to history, geography, biology, and politics using a public, million node knowledge graph extracted from Wikipedia and PubMedDB. Not only does our approach significantly outperform related models, we also find that the discriminative predicate path model is easily interpretable and provides sensible reasons for the final determination.

연구 동기 및 목표

• 빠르게 확장되는 사실적 진술을 대규모로 검증하는 데 발생하는 도전 과제를 해결하기 위해.
• 전문가 중심의 방법을 넘어서 구조화된 지식 그래프를 활용해 계산 기반 사실 확인을 향상시키기 위해.
• 진술의 진실성 예측뿐만 아니라 해석 가능한, 근거 기반 추론을 제공하는 모델을 개발하기 위해.
• 대규모로 공개된 지식 그래프를 사용하여 다양한 사실 영역에서 방법을 평가하기 위해.

제안 방법

• 이 접근 방식은 실체와 관계(술어)로 구성된 지식 그래프 내에서 사실 확인을 링크 예측 작업으로 프레임한다.
• 진술의 진위 여부를 가장 잘 구분할 수 있는 관계의 순서인 분류적 술어 경로를 식별한다.
• 분류적 점수 함수를 사용하여 진술의 진위 여부를 구분하는 데 기여하는 경로의 능력을 기반으로 경로를 순위 매긴다.
• 다수의 높은 점수를 받은 경로에서의 증거를 집계하여 주어진 진술에 대한 최종 진실성 예측을 도출한다.
• 위키피디아와 PubMedDB에서 추출한 100만 개 이상의 노드를 포함한 지식 그래프를 사용하여 방법을 학습하고 평가한다.
• 해석 가능성은 모델의 예측에 대한 근거로 상위 순위의 술어 경로를 제시함으로써 달성된다.

실험 결과

연구 질문

• RQ1 지식 그래프 내의 분류적 술어 경로가 사실적 진술의 의미를 효과적으로 표현하고 검증할 수 있는가?
• RQ2 이 경로 기반 접근 방식은 기존의 사실 확인 모델들과 비교해 정확도와 해석 가능성 측면에서 어떻게 성능을 내는가?
• RQ3 이 모델은 역사, 지리, 생물학, 정치와 같은 다양한 사실 영역으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 모델은 인간이 이해할 수 있는 의미 있는 설명을 제공하여 진술의 진실성 예측을 뒷받침할 수 있는가?

주요 결과

• 제안된 방법은 다양한 분야의 여러 진술에 대해 기존의 모델들보다 뚜렷이 높은 사실 확인 정확도를 달성한다.
• 모델은 특정한 술어 경로를 제시함으로써 예측에 대한 논리적 근거로 작용하는 높은 해석 가능성에 도달한다.
• 분류적 경로 탐색 방법은 사실 검증에 필요한 의미적 관계를 효과적으로 포착한다.
• 이 방법은 생물학 및 정치 분야의 복잡한 진술을 포함한 다양한 사실 주제로 잘 일반화된다.
• 위키피디아와 PubMedDB에서 유래한 대규모 공개 지식 그래프의 사용은 강력한 평가와 실제 적용 가능성을 가능하게 한다.
• 모델의 해석 가능성 덕분에 사용자는 각 판정의 추론 과정을 추적할 수 있어 신뢰도와 투명도가 향상된다.