[논문 리뷰] Structural Quality Metrics to Evaluate Knowledge Graphs

Sumin Seo, Heeseon Cheon외 2명|arXiv (Cornell University)|2022. 11. 18.

Semantic Web and Ontologies인용 수 4

한 줄 요약

이 논문은 지식 그래프의 품질을 평가하기 위해 온톨로지 구조와 사용성을 평가하는 데 초점을 맞춘 여섯 가지 구조적 품질 지표를 제안한다. 이 지표들은 클래스 및 속성 인스턴스화, 계층 구조, 상속을 다룬다. 위키데이터, DBpedia, YAGO, 프리베이스, 구글 지식 그래프, 나우버의 레프텔에 적용한 결과, 고규모 지식 그래프는 종종 온톨로지를 부적절하게 활용하는 반면, 레프텔과 같이 잘 구조화된 그래프는 정교하고 활발히 사용되는 클래스 및 속성 정의를 통해 높은 품질을 달성한다.

ABSTRACT

This work presents six structural quality metrics that can measure the quality of knowledge graphs and analyzes five cross-domain knowledge graphs on the web (Wikidata, DBpedia, YAGO, Google Knowledge Graph, Freebase) as well as 'Raftel', Naver's integrated knowledge graph. The 'Good Knowledge Graph' should define detailed classes and properties in its ontology so that knowledge in the real world can be expressed abundantly. Also, instances and RDF triples should use the classes and properties actively. Therefore, we tried to examine the internal quality of knowledge graphs numerically by focusing on the structure of the ontology, which is the schema of knowledge graphs, and the degree of use thereof. As a result of the analysis, it was possible to find the characteristics of a knowledge graph that could not be known only by scale-related indicators such as the number of classes and properties.

연구 동기 및 목표

• 크기 및 분포 지표를 초월해 지식 그래프의 구조적 품질 평가가 부족한 문제를 해결하기 위해.
• 특히 온톨로지 설계 및 사용과 관련된 지식 그래프의 품질을 결정짓는 구조적 요인을 규명하기 위해.
• 실제 세계 지식을 표현하는 데 지식 그래프가 온톨로지를 얼마나 잘 활용하는지를 반영하는 정량적 지표를 개발하기 위해.
• 이러한 지표를 사용해 도메인 간 지식 그래프를 비교하여 구조적 강점과 약점을 밝혀내기 위해.
• 크기 기반 지표가 놓치는 숨겨진 품질 문제를 구조적 품질 지표가 드러낼 수 있음을 입증하기 위해.

제안 방법

• 인스턴스화된 클래스 비율, 인스턴스화된 속성 비율, 클래스 인스턴스화, 하위클래스 속성 확보, 하위클래스 속성 인스턴스화, 역방향 다중 상속의 여섯 가지 구조적 품질 지표를 제안한다.
• 각 지표를 1~10 스케일로 정규화하여 그래프 간 비교를 가능하게 한다.
• 클래스 지표(CM)와 속성 지표(PM)를 가중 평균으로 조합하여, 평가 우선순위에 따라 가변적인 가중치를 적용한 통합 구조적 품질 점수를 산출한다.
• 다섯 개인 공개 지식 그래프(Wikidata, DBpedia, YAGO, Freebase, Google KG)와 하나의 기업 전용 그래프(Raftel)에 이 지표들을 적용한다.
• RDF 트리플 데이터와 온톨로지 정의를 활용해 인스턴스화 및 상속 통계를 계산한다.
• 정규화 및 가중 집계를 통해 구조적 성숙도를 반영하는 종합적이고 해석 가능한 품질 점수를 도출한다.

실험 결과

연구 질문

• RQ1 크기 외에 어떤 지식 그래프의 구조적 특성이 더 높은 품질을 이끌어내는가?
• RQ2 지식 그래프는 클래스 및 속성 인스턴스화 측면에서 온톨로지를 얼마나 잘 활용하고 있는가?
• RQ3 온톨로지 계층 구조(예: 하위클래스화)는 지식 그래프의 표현력과 품질에 어느 정도 영향을 미치는가?
• RQ4 온톨로지 사용 및 설계 측면에서 다양한 지식 그래프는 어떻게 구조적 품질 측면에서 비교되는가?
• RQ5 크기 기반 지표가 놓치는 숨겨진 품질 문제를 구조적 품질 지표가 드러낼 수 있는가?

주요 결과

• DBpedia는 속성 사용(PM)을 우선시할 경우 가장 높은 구조적 품질 점수를 기록했으며, 중간 수준의 클래스 계층 구조에도 불구하고 강력한 속성 인스턴스화를 보였다.
• 레프텔은 위키데이터의 온톨로지를 기반으로 하였지만, 클래스 지표(CM)에서 가장 높은 점수를 기록하여 클래스 수준의 구조화와 인스턴스화가 뛰어나다는 것을 입증했다.
• 위키데이터는 많은 클래스와 속성을 가진 풍부한 온톨로지를 보유하고 있음에도 불구하고 상대적으로 낮은 인스턴스화 비율을 보여, 구조적 잠재력이 제대로 활용되지 않았음을 시사한다.
• 프리베이스는 높은 속성 수를 보였지만, 클래스 계층 구조가 없어 하위클래스 속성 확보 및 하위클래스 속성 인스턴스화 지표가 낮아 구조적 품질이 제한되었다.
• 구글 지식 그래프는 온톨로지에 대한 공개 접근성이 제한적이고 API를 통한 속성 노출도 적어 대부분의 지표에서 낮은 점수를 기록했다.
• YAGO는 낮은 클래스 및 속성 수, 약한 하위클래스화, 낮은 인스턴스화 비율로 인해 낮은 구조적 품질을 보였으며, 이는 표현력이 제한됨을 나타낸다.