[논문 리뷰] Which Knowledge Graph Is Best for Me?

Michael Färber, Achim Rettinger|arXiv (Cornell University)|2018. 09. 28.

Data Quality and Management참고 문헌 4인용 수 9

한 줄 요약

이 논문은 특정 데이터 품질 요구사항을 충족시키는 데 적합한 지식 그래프(DBpedia, Freebase, OpenCyc, Wikidata, YAGO)를 선택하는 데 도움이 되는 간소화된 의사결정 규칙를 제공한다. 이는 정확도, 완전성, 시기적합성, 상호운용성 등 11개의 데이터 품질 차원에서 평가된 주요 공개 지식 그래프들을 종합적으로 분석한 설문 조사에 기반하며, 특정 용도에 가장 적합한 지식 그래프를 신속하게 식별할 수 있는 경량 가이드를 제공한다.

ABSTRACT

In recent years, DBpedia, Freebase, OpenCyc, Wikidata, and YAGO have been published as noteworthy large, cross-domain, and freely available knowledge graphs. Although extensively in use, these knowledge graphs are hard to compare against each other in a given setting. Thus, it is a challenge for researchers and developers to pick the best knowledge graph for their individual needs. In our recent survey, we devised and applied data quality criteria to the above-mentioned knowledge graphs. Furthermore, we proposed a framework for finding the most suitable knowledge graph for a given setting. With this paper we intend to ease the access to our in-depth survey by presenting simplified rules that map individual data quality requirements to specific knowledge graphs. However, this paper does not intend to replace our previously introduced decision-support framework. For an informed decision on which KG is best for you we still refer to our in-depth survey.

연구 동기 및 목표

• 특정 응용 분야에 적합한 주요 공개 지식 그래프 중 가장 적절한 것을 선택하는 데 도전하는 데 목적을 두며.
• 복잡한 데이터 품질 평가 결과를 실용적인 사용을 위한 실용적이고 직관적인 권장 사항으로 압축하는 데 목적을 두며.
• 각종 데이터 품질 요구사항을 특정 지식 그래프에 매핑함으로써 개발자 및 연구자가 정보 기반 결론을 내릴 수 있도록 지원하는 데 목적을 두며.
• 원래 설문 조사의 철학적 엄밀함을 유지하면서도 전체 권장 프레임워크의 경량 대체 방안을 제공하는 데 목적을 두며.
• 2018년도 DBpedia, Freebase, OpenCyc, Wikidata, YAGO에 대한 종합 설문 조사의 데이터 품질 발견 결과를 보다 쉽게 접근 가능하게 하는 데 목적을 두며.

제안 방법

• 지식 그래프를 체계적으로 평가하기 위해 정확도, 완전성, 시기적합성, 상호운용성 등 11개의 데이터 품질 차원을 개발하였다.
• 각 데이터 품질 기준을 측정 가능한 데이터 품질 지표로 형식화하여 정량적 비교를 가능하게 하였다.
• 다섯 개의 지식 그래프의 2016년도 데이터(삼중항 수, 엔터티 수, 클래스 수, 관계 수, 리터럴 수, URI 수)의 핵심 통계를 분석에 활용하였다.
• 설문 조사 결과를 바탕으로 "요건 Y를 충족할 경우 KG X를 선택하라" 형식의 간소화된 의사결정 규칙를 제작하였다.
• 원래 설문 조사(Färber 등, 2018)에서 제공된 전체 권장 프레임워크(가중치 기반 기준, 사전 선별, 정량적 점수, 정성적 검증)를 유지하였다.
• 네 단계로 구성된 프레임워크를 제공하였다: (1) 가중치 기반 기준을 활용한 요구사항 분석, (2) 사전 선별, (3) 지표를 통한 정량적 평가, (4) 상위 후보자의 정성적 검증.

실험 결과

연구 질문

• RQ1 정확도, 완전성, 시기적합성과 같은 특정 데이터 품질 요구사항을 충족시키는 데 있어 DBpedia, Freebase, OpenCyc, Wikidata, YAGO 중 어떤 지식 그래프가 가장 적합한가?
• RQ2 신뢰성, 일관성, 상호운용성과 같은 데이터 품질 차원이 대규모 지식 그래프 간에 체계적으로 측정되고 비교될 수 있는 방법은 무엇인가?
• RQ3 2016년 기준 다섯 가지 주요 오픈 지식 그래프 간의 구조, 크기, 데이터 표현 방식의 주요 차이는 무엇인가?
• RQ4 정확도를 훼손하지 않으면서도 복잡한 데이터 품질 평가 프레임워크에서 간소화된 의사결정 과정을 유도할 수 있는 방법은 무엇인가?
• RQ5 커뮤니티 편집, 다국어 레이블, 시간 유효성 등의 요구 사항을 충족시키는 작업에서, 예를 들어 Wikidata가 OpenCyc보다 더 적합한 조건은 무엇인가?

주요 결과

• Freebase가 삼중항 수가 가장 많았으며(31.2억 개), 이는 Wikidata(7.48억 개), DBpedia(4.12억 개), YAGO(10억 개), OpenCyc(240만 개)를 앞섰다.
• Wikidata는 고유 주제어(1.423억 개)와 고유 인스턴스(1.422억 개) 수가 가장 많아 광범위한 엔터티 커버리지가 가능함을 시사한다.
• YAGO는 클래스 수(569,751개)와 관계 수(106개)가 가장 많아 매우 체계적인 스키마를 갖추고 있음을 나타낸다.
• Wikidata는 수백 개의 언어에서 다국어 레이블을 지원하는 반면, OpenCyc와 YAGO는 설명적 URI와 WordNet 통합을 강조한다.
• Freebase와 Wikidata는 각각 784,977개, 4,839개의 고유한 술어 수를 기록하여 풍부한 관계 모델링을 반영한다.
• Wikidata와 YAGO는 문장의 시간 유효성과 커뮤니티 기반 수정 기능을 지원하는 반면, OpenCyc와 DBpedia는 이러한 기능을 제공하지 못한다.