[논문 리뷰] Tell Me Why Is It So? Explaining Knowledge Graph Relationships by Finding Descriptive Support Passages

Sumit Bhatia, Purusharth Dwivedi외 1명|arXiv (Cornell University)|2018. 03. 17.

Topic Modeling참고 문헌 29인용 수 3

한 줄 요약

이 논문은 지식 그래프(Wikidata)의 관계에 대한 설명적 설명을 제공하기 위해 대규모 코퍼스(Wikipedia)에서 문단을 순위 매기는 확률적 비지도 학습 방법을 제안한다. 언어 모델을 사용해 문단 수준 및 문서 수준의 증거를 통합함으로써, 사용자 연구에서 베이스라인을 뛰어넘는 성능을 보이며, 자동 지식 기반 시스템의 해석 가능성과 사용자 신뢰도를 크게 향상시킨다.

ABSTRACT

We address the problem of finding descriptive explanations of facts stored in a knowledge graph. This is important in high-risk domains such as healthcare, intelligence, etc. where users need additional information for decision making and is especially crucial for applications that rely on automatically constructed knowledge bases where machine learned systems extract facts from an input corpus and working of the extractors is opaque to the end-user. We follow an approach inspired from information retrieval and propose a simple and efficient, yet effective solution that takes into account passage level as well as document level properties to produce a ranked list of passages describing a given input relation. We test our approach using Wikidata as the knowledge base and Wikipedia as the source corpus and report results of user studies conducted to study the effectiveness of our proposed model.

연구 동기 및 목표

• 의료 및 지능 분야와 같이 고위험 도메인에서 지식 그래프 관계에 대한 기술적이고 인간이 읽을 수 있는 설명이 필요한 문제를 해결하기 위해.
• 비정형 텍스트에서 추출한 사실에 대해 맥락적 지원을 제공함으로써 사용자 신뢰도 및 의사결정 능력을 향상시키기 위해.
• 템플릿이나 사전 정의된 경로에 의존하지 않는 해석 가능하고 비지도 학습 기반의 솔루션을 개발하기 위해.
• 유저 스터디를 통해 문단 기반 설명의 효과성을 평가하고 관련성과 정보성 측면에서 비교하기 위해.
• 추상적인 삼항관계를 자연어 맥락과 연결함으로써 더 나은 탐색적 검색과 지식 탐색을 가능하게 하기 위해.

제안 방법

• 이 방법은 문단 수준 및 문서 수준의 증거를 결합하여 후보 문단의 점수를 매기는 확률적 순위 모델을 사용한다.
• 문단 수준의 관련성은 관계 삼항관계가 특정 문단에 나타날 가능성의 정도를 추정하는 언어 모델을 사용해 모델링한다.
• 문서 수준의 증거는 관계에 포함된 실체들이 빈번히 언급된 문서에서 온 문단의 점수를 높이는 부스팅 항목을 통해 통합된다.
• 최종 점수는 문단 가능성과 문서 증거의 가중 조합으로 계산되며, 이는 논문의 식 (5)에 수식적으로 기술되어 있다.
• 이 방법은 지도 학습이 필요로 하는 애너테이션된 학습 데이터나 템플릿에 의존하지 않는 비지도 학습 기반 접근법이다.
• 시스템은 Wikidata를 지식 기반으로 사용하여 Wikipedia에서 문단을 검색하고 순위를 매기며, 외부 지식이나 사전 학습된 모델에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 지식 그래프 관계에 대한 설명 문단을 순위 매기기 위해 문단 수준 및 문서 수준의 증거를 효과적으로 통합할 수 있는가?
• RQ2 단지 단어 겹침 또는 빈도에 의존하는 기존의 베이스라인 방법과 비교할 때, 제안된 방법은 어떻게 성능을 냈는가?
• RQ3 사용자 연구를 통해 제안된 문단이 지식 그래프 사실에 대한 이해도와 신뢰도를 얼마나 향상시키는가?
• RQ4 핵심 용어가 문단에 단 한 번만 나타나더라도, 관련성 있고 맥락이 풍부한 설명을 식별할 수 있는가?
• RQ5 설명 생성 과정에서 가장 흔한 오류 또는 잘못 순위 매겨진 사례는 무엇인가?

주요 결과

• 제안된 방법은 단어 빈도와 문단 겹침에 의존하는 강력한 베이스라인에 비해 사용자 연구에서 뚜렷이 뛰어난 성능을 보였다.
• 핵심 용어가 단 한 번만 나타나는 경우에도 모델이 생성한 문단은 베이스라인에 비해 더 정보가 풍부하고 관련성이 높다고 평가받았다.
• 문서 수준의 증거 구성요소는 목표 용어를 단 한 번만 포함하는 문단이라도 관련성을 높이는 데 핵심적인 역할을 했다.
• 사용자 평가자들은 실체를 언급하지만 특정 관계를 설명하지 못하는 문단을 자주 기각했으며, 이는 맥락적 관련성의 중요성을 시사한다.
• 오류 분석 결과 두 가지 주요 실패 유형이 드러났다: 관계를 설명하지 않고 실체만 다루는 문단, 그리고 관계에 간접적이거나 일시적인 언급만 포함한 문단.
• 결과적으로 언어 모델링과 문서 수준의 증거를 조합함으로써 지식 그래프 사실에 대한 더 효과적이고 신뢰할 수 있는 설명을 도출할 수 있음을 입증했다.