[논문 리뷰] Steps to Knowledge Graphs Quality Assessment

Elwin Huaman|arXiv (Cornell University)|2022. 08. 16.

Data Quality and Management인용 수 5

한 줄 요약

이 논문은 지식 그래프(KG) 품질 평가를 위한 사용자 중심의 커스터마이징 가능한 프레임워크를 제안한다. 이 프레임워크는 도메인 특화의 20개의 품질 차원(QDs)과 관련된 품질 지표(QMs)를 정의하며, 알파- 및 베타-가중치를 사용한 가중치 기반 점수 계산을 통해 통합된 QD 및 KG 점수를 산출한다. 이를 통해 다양한 응용 분야에서 실용적이고 작업 기반의 평가가 가능해지며, KG 품질의 비교, 최적화 및 시각화를 지원한다.

ABSTRACT

Knowledge Graphs (KGs) have been popularized during the last decade, for instance, they are used widely in the context of the web. In 2012 Google has presented the Google's Knowledge Graph that is used to improve their web search services. The web also hosts different KGs, such as DBpedia and Wikidata, which are used in various applications like personal assistants and question-answering systems. Various web applications rely on KGs to provide concise, complete, accurate, and fresh answer to users. However, what is the quality of those KGs? In which cases should a Knowledge Graph (KG) be used? How might they be evaluated? We reviewed the literature on quality assessment of data, information, linked data, and KGs. We extended the current state-of-the-art frameworks by adding various quality dimensions (QDs) and quality metrics (QMs) that are specific to KGs. Furthermore, we propose a general-purpose, customizable to a domain or task, and practical quality assessment framework for assessing the quality of KGs.

연구 동기 및 목표

• 지식 그래프(KGs)의 사용 목적에 맞는 평가를 지원하는 종합적이고 유연한 품질 평가 프레임워크의 부족을 해결하기 위해.
• 기존의 데이터 및 연결된 데이터 품질 모델을 확장하여 지식 그래프에 특별히 관련된 20개의 품질 차원(QDs)을 식별하고 형식화하기 위해.
• 사용자 요구와 사용 사례에 따라 QDs와 QMs의 가중치를 동적으로 조정할 수 있는 실용적이고 커스터마이징 가능한 프레임워크를 개발하기 위해.
• 조정 가능한, 시각화 가능한, 해석 가능한 품질 평가를 통해 실질적인 통찰을 제공하여 지식 그래프 선택 및 향상에 기여하기 위해.

제안 방법

• 프레임워크는 네 단계로 구성된다: 사용자, 사용 사례 및 대상 KG의 식별; 베타-가중치(0에서 1 사이)를 사용하여 QDs와 QMs의 선택 및 가중치 조정(합이 1이 되도록).
• 각 QD는 알파-가중치(0에서 1 사이)를 사용한 가중치 합으로 평가되며, 이는 각 QD 내에서 지표의 중요도를 반영하고, 각 QD에 대해 합이 1이 되도록 설정된다.
• 지식 그래프의 QD 점수는 $ d_i(g) = \sum_{j=1}^{k_i} m_{i,j} \cdot \alpha_{i,j} $ 로 계산되며, 여기서 $ m_{i,j} $ 는 정규화된 지표 점수이다.
• 전체 지식 그래프 품질 점수는 $ T(g) = \sum_{i=1}^{n} d_i(g) \cdot \beta_i $ 로 계산되며, 이는 각 QD 점수와 그에 해당하는 가중치를 조합하여 산출된다.
• 프레임워크는 변화하는 우선순위를 반영하기 위해 알파- 및 베타-가중치를 동적으로 조정할 수 있으며, 다양한 사용 사례에서 지식 그래프 간 실시간 비교 및 순위 매기기를 가능하게 한다.
• 결과 시각화, 추천 지원, 품질 점수의 상호작용 탐색을 위한 사용자 인터페이스(UI)가 제안된다.

실험 결과

연구 질문

• RQ1 지식 그래프의 고유한 특성을 반영하기 위해 품질 차원(QDs)을 체계적으로 식별하고 형식화하는 방법은 무엇인가?
• RQ2 지식 그래프의 다수의 품질 지표(QMs)를 통합하여 일관된 품질 차원(QDs)으로 요약하는 데 가장 효과적인 방법은 무엇인가?
• RQ3 어떻게 하면 다양한 사용 사례와 도메인에 적합하게 커스터마이징되고 적응 가능한 품질 평가 프레임워크를 만들 수 있는가?
• RQ4 가중치 기반 중요도 점수(알파 및 베타-가중치)는 사용자 중심의 작업 기반 지식 그래프 품질 평가를 어떻게 가능하게 하는가?

주요 결과

• 논문은 기존에 다루지 않았던 요소들인 비용 효율성, 추적 가능성, 다양성 등을 포함하여 지식 그래프 전용으로 20개의 품질 차원(QDs)을 식별하고 형식화하였다.
• 사용자 요구와 사용 사례에 맞게 QDs(베타-가중치)와 QMs(알파-가중치)의 가중치를 커스터마이징할 수 있도록 허용함으로써, 동적이고 사용자 중심의 품질 평가가 가능해졌다.
• 지식 그래프의 통합 품질 점수는 QD 점수의 가중치 합으로 계산되며, 최종 총점 $ T(g) $ 는 사용 목적에 대한 전체적인 적합성을 반영한다.
• 조정 가능한 가중치, 결과 비교 및 시각화를 통해 실용적인 활용이 가능해졌으며, 이는 지식 그래프 선택 및 향상에 도움이 된다.
• 이 방법은 부분 자동화된 설계를 취하며, 기계로 실행 가능한 지표와 인간이 개입하는 의사결정을 조합하여 정확성과 비용의 균형을 맞춘다.