[논문 리뷰] TTMF: A Triple Trustworthiness Measurement Frame for Knowledge Graphs.

Shengbin Jia, Yang Xiang외 2명|arXiv (Cornell University)|2018. 09. 25.

Advanced Graph Neural Networks인용 수 3

한 줄 요약

이 논문은 지식 그래프 트리플의 의미적 정확성과 사실적 진실성을 삼중 신뢰도 측정 프레임워크인 TTMF를 통해 양자화하는 방법을 제안한다. 크로스싱 네트워크 아키텍처를 활용하여 트리플 내부의 의미 정보와 엔티티, 관계, 전반적인 지식 그래프 수준에서의 전역 추론 패턴을 통합함으로써, 기존 모델 대비 FB15K에서 지식 그래프 오류 탐지 성능에 있어 뚜렷하고 일관된 향상을 이룬다.

ABSTRACT

The Knowledge graph (KG) uses the triples to describe the facts in the real world. It has been widely used in intelligent analysis and applications. However, possible noises and conflicts are inevitably introduced in the process of constructing. And the KG based tasks or applications assume that the knowledge in the KG is completely correct and inevitably bring about potential deviations. In this paper, we establish a knowledge graph triple trustworthiness measurement model that quantify their semantic correctness and the true degree of the facts expressed. The model is a crisscrossing neural network structure. It synthesizes the internal semantic information in the triples and the global inference information of the KG to achieve the trustworthiness measurement and fusion in the three levels of entity level, relationship level, and KG global level. We analyzed the validity of the model output confidence values, and conducted experiments in the real-world dataset FB15K (from Freebase) for the knowledge graph error detection task. The experimental results showed that compared with other models, our model achieved significant and consistent improvements.

연구 동기 및 목표

• 지식 그래프 구축 과정에서 발생하는 노이즈와 갈등이 최종 응용 프로그램에 악영향을 미치는 문제를 해결하기 위해.
• 단순한 정확성 초과하여 의미적 정확성과 사실적 진실성에 중점을 두어 지식 그래프 트리플의 신뢰도를 정량적으로 측정하기 위해.
• 엔티티, 관계, 전반적인 지식 그래프 수준에서의 통합된 프레임워크를 개발하여 세 수준에서의 신뢰도 평가를 가능하게 하기 위해.
• 모델이 생성한 신뢰도 점수가 트리플 신뢰도의 신뢰할 수 있는 지표임을 검증하기 위해.
• 통합된 의미적 및 전역 추론 모델링을 통해 지식 그래프 오류 탐지 성능을 향상시키기 위해.

제안 방법

• 트리플 내부의 의미 정보와 지식 그래프 전반의 전역 추론 패턴을 동시에 모델링하기 위해 크로스싱 네트워크 아키텍처를 설계하기 위해.
• 엔티티 수준, 관계 수준, 전역 지식 그래프 수준의 표현을 융합하여 다중 수준의 신뢰도 평가를 가능하게 하기 위해.
• 지역적 트리플 의미 정보와 전역적인 구조적 패턴을 활용하여 모델의 잘못된 사실 또는 신뢰할 수 없는 사실 탐지 능력을 향상시키기 위해.
• 실제 지식 그래프 데이터를 기반으로 엔드 투 엔드로 모델을 훈련하여 트리플의 진실성을 반영한 신뢰도 점수를 학습하기 위해.
• 성능 비교를 위해 훈련 및 평가에 FB15K 데이터셋을 사용하기 위해.

실험 결과

연구 질문

• RQ1 다양한 정밀도 수준에서 지식 그래프 트리플의 신뢰도를 정량적으로 측정하는 방법은 무엇인가?
• RQ2 내부 의미 특징과 전역 지식 그래프 추론 패턴이 함께 작용할 경우, 신뢰도 평가에 얼마나 기여하는가?
• RQ3 모델이 생성한 신뢰도 점수가 트리플 정확성의 신뢰할 수 있는 지표인가?
• RQ4 제안된 프레임워크는 기존 모델 대비 지식 그래프 내 오류 탐지에서 뛰어난 성능을 보이는가?

주요 결과

• TTMF 모델은 기존 기준 모델 대비 FB15K 데이터셋에서 지식 그래프 오류 탐지 성능에 있어 뚜렷하고 일관된 향상을 보였다.
• 모델의 출력 신뢰도 점수는 실증적으로 트리플의 신뢰도 지표로서 신뢰할 수 있음을 검증되었다.
• 엔티티 수준, 관계 수준, 전역 수준의 표현을 융합함으로써 모델의 잘못된 사실 탐지 능력이 향상되었다.
• 크로스싱 네트워크 아키텍처는 지역적 의미 정보와 전역 추론 패턴을 효과적으로 융합하여 성능 향상을 이뤘다.
• 오류 탐지 작업에서 다양한 평가 지표에 걸쳐 모델이 뛰어난 강건성과 일관성을 보였다.