[논문 리뷰] Gollum: A Gold Standard for Large Scale Multi Source Knowledge Graph Matching

Sven Hertling, Heiko Paulheim|arXiv (Cornell University)|2022. 09. 15.

Semantic Web and Ontologies인용 수 4

한 줄 요약

Gollum은 DBpedia에서 추출한 위키에서 유래한 4,149개의 지식 그래프를 바탕으로 275,000개 이상의 대응 관계를 포함하는 대규모 골드 표준을 제공하며, 다중 소스 지식 그래프 매칭을 위한 평가에 적합하다. 이는 비지도 및 지도 학습 방법을 평가할 수 있도록 세 가지 별도의 분할을 제공하며, 이행 폐쇄에 저항하는 테스트 세트를 포함하고 있으며, 신뢰도 필터링된 부분 집합에서 정밀도가 최대 0.985에 이르는 높은 수준의 정확한 대응을 보여준다.

ABSTRACT

The number of Knowledge Graphs (KGs) generated with automatic and manual approaches is constantly growing. For an integrated view and usage, an alignment between these KGs is necessary on the schema as well as instance level. While there are approaches that try to tackle this multi source knowledge graph matching problem, large gold standards are missing to evaluate their effectiveness and scalability. We close this gap by presenting Gollum -- a gold standard for large-scale multi source knowledge graph matching with over 275,000 correspondences between 4,149 different KGs. They originate from knowledge graphs derived by applying the DBpedia extraction framework to a large wiki farm. Three variations of the gold standard are made available: (1) a version with all correspondences for evaluating unsupervised matching approaches, and two versions for evaluating supervised matching: (2) one where each KG is contained both in the train and test set, and (3) one where each KG is exclusively contained in the train or the test set.

연구 동기 및 목표

• 지식 그래프 매칭 시스템 평가를 위한 대규모 다중 소스 골드 표준의 부족을 해결하기 위해.
• 다양한 훈련 및 테스트 분할을 통해 비지도 및 지도 학습 방법의 벤치마킹을 가능하게 하기 위해.
• 다중 소스 지식 그래프 통합 시나리오에서의 확장성 및 효과성 평가를 지원하기 위해.
• 실제 DBpedia에서 추출한 지식 그래프에서 유도된 고품질의 신뢰도 조정 가능한 데이터셋을 제공하기 위해.
• 데이터 누출을 통제하는 훈련 및 테스트 세트를 제공함으로써 향후 다중 소스 매칭 시스템 개발을 촉진하기 위해.

제안 방법

• 골드 표준은 대규모 위키 팜에서 DBpedia 프레임워크를 통해 추출한 4,149개의 지식 그래프에서 유도된다.
• 유사도 점수 기반의 신뢰도 임계값과 수작업 쿠리에이션을 조합하여 인스턴스, 클래스, 속성 수준에서 대응 관계를 설정한다.
• 세 가지 버전의 데이터셋을 공개한다: 비지도 평가를 위한 버전, 훈련 및 테스트에 중복된 지식 그래프를 포함한 버전, 이행 폐쇄 누수를 방지하기 위해 독립적인 지식 그래프 분할을 제공하는 버전.
• 텍스트 콘텐츠와 URI 조각의 tf-idf 벡터를 기반으로 하향식 군집화(HAC) 전략을 사용하여 다중 소스 매칭의 점진적 병합 과정을 안내한다.
• 두 가지 1:1 매칭기—Alod2Vec와 문자열 기반 매칭기—를 다중 소스 전략에 재사용하며, 후처리 단계에서 신뢰도 정렬을 통해 1:1 대응을 강제한다.
• 정밀도, 재현율, F1 점수를 인스턴스, 클래스, 속성 매칭 모두에 대해 평가하며, 신뢰도 임계값을 적용하여 강건성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 기존의 1:1 지식 그래프 매칭 시스템이 반복적 병합을 통해 다중 소스 매칭에 적응했을 때의 효과성은 어떠한가?
• RQ2 이행 폐쇄에 의한 데이터 누출이 다중 소스 지식 그래프 매칭에서 테스트 세트의 신뢰성에 미치는 영향은 무엇인가?
• RQ3 다양한 신뢰도 임계값과 매칭 유형(인스턴스, 클래스, 속성)에 따라 골드 표준의 품질은 어떻게 변하는가?
• RQ4 지도 학습 훈련 세트는 비지도 매칭 시스템의 성능을 다중 소스 환경에서 향상시킬 수 있는가?
• RQ5 대규모 다중 소스 통합 환경에서 다양한 매칭 전략 간의 확장성 및 성능 트레이드오프는 어떠한가?

주요 결과

• 골드 표준은 4,149개의 지식 그래프에 걸쳐 총 275,103개의 대응 관계를 포함하며, 신뢰도 기반 필터링을 통해 높은 수준의 정확한 대응이 검증되었다.
• 가장 높은 신뢰도 부분집합(conf=1.0)에서 정밀도가 0.985에 도달하여 강력한 대응 정확도를 보였다.
• 문자열 기반 매칭기는 인스턴스 매칭에서 정밀도 0.959, F1 점수 0.795를 기록하며 Alod2Vec보다 이 분야에서 뛰어난 성능을 보였다.
• Alod2Vec는 문자열 기반 매칭기(0.829)보다 높은 클래스 매칭 정밀도(0.842)를 기록하여 의미론적 클래스 대응에서 더 우수한 성능을 보였다.
• 재현율 값은 낮게 유지되어(예: Alod2Vec의 인스턴스에서 0.390), 많은 참값 대응 관계가 탐지되지 않음을 시사하며, 향후 개선 여지가 있음을 시사한다.
• Alod2Vec의 실행 시간은 임베딩 기반 매칭의 계산 복잡도로 인해 문자열 기반 매칭기(2일)보다 훨씬 높아(6일)져서 주로 이에 기인한다.