[논문 리뷰] MTab: Matching Tabular Data to Knowledge Graph using Probability Models

Phuc Nguyen, Natthawut Kertkeidkachorn외 2명|arXiv (Cornell University)|2019. 10. 01.

Semantic Web and Ontologies참고 문헌 8인용 수 12

한 줄 요약

MTab는 다중 검색 서비스, 리터럴 매칭 신호, 그리고 열, 행, 유형 간의 신뢰도 집계를 통합하는 확률적 프레임워크로서 지식 그래프(DBpedia 등)와 표 형태 데이터를 매칭시키는 데 사용된다. SemTab 2019의 CEA, CTA, CPA 과제에서 높은 F1 점수(최대 1.000)와 평균 정밀도(1.956)를 기록하여 공동 확률 모델링과 신호 융합을 통한 뛰어난 성능을 입증한다.

ABSTRACT

This paper presents the design of our system, namely MTab, for Semantic Web Challenge on Tabular Data to Knowledge Graph Matching (SemTab 2019). MTab combines the voting algorithm and the probability models to solve critical problems of the matching tasks. Results on SemTab 2019 show that MTab obtains promising performance for the three matching tasks.

연구 동기 및 목표

• 다국어 및 의미적으로 복잡한 데이터를 다루는 데 적합한 방식으로 DBpedia와 같은 지식 그래프(KG)에 표 형태 데이터를 매핑하는 데 도전하는 것.
• 표준 엔티티 검색 및 리터럴 값 매칭의 한계를 극복하여 매칭 성능을 향상시키는 것.
• 열 유형, 셀 값, 행 컨텍스트, 상호 열 관계에서 유래한 신호를 융합하는 통합된 확률적 프레임워크를 개발하는 것.
• SemTab 2019 벤치마크에서 세 가지 하위 과제(CGA, CTA, CPA)에 대해 시스템을 평가하는 것.

제안 방법

• MTab는 텍스트 디코딩, 언어 예측, 데이터 유형 및 엔티티 유형 분류, 다중 소스 엔티티 검색(DBpedia, 위키백과, 위키데이터)을 통합한 7단계 파이프라인을 사용한다.
• 엔티티 검색 신뢰도, 열 유형 확률, 셀 값 유사도(레벤슈타인 거리 기반), 행 수준의 동시 발생 패턴을 조합하는 공동 확률 모델을 적용한다.
• 리터럴 매칭은 레벤슈타인 비율 정규화 및 히우리스틱 규칙(예: 약어, 날짜)을 적용하여 셀 값에서 지식 그래프 리터럴로의 정렬을 향상시킨다.
• 정규화된 유사도 점수를 사용해 열 간 관계의 확률을 계산하며, 수치형 열에 대해 선택적 가중치를 적용할 수 있다.
• 엔티티 후보 재평가에서는 검색, 열 유형, 셀 값, 행 컨텍스트의 네 가지 신호를 학습 가능한 가중치를 가진 가중 곱 모델로 통합한다.
• 최종 예측은 집계된 신뢰도 점수에서 상위 랭크된 엔티티, 유형, 관계에 대한 다수결 투표를 통해 정제된다.

실험 결과

연구 질문

• RQ1 다중 소스 엔티티 검색은 지식 그래프 연결에서 비영어 및 모호한 표 값에 대해 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 정규화된 레벤슈타인 거리, 히우리스틱 등 리터럴 매칭 신호는 셀-엔티티 및 열-유형 매핑 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 유형, 값, 행 컨텍스트, 상호 열 관계와 같은 다양한 신호의 공동 확률 모델링은 개별 신호 접근 방식보다 표-지식 그래프 매칭에서 성능을 뛰어나게 할 수 있는가?
• RQ4 열과 행 간의 신뢰도 집계는 엔티티 및 관계 예측의 신뢰성에 어떻게 기여하는가?
• RQ5 폐쇄 세계 지식 그래프 및 고정된 표 헤더와 같은 가정은 시스템의 강건성과 확장성에 어떤 영향을 미치는가?

주요 결과

• MTab는 라운드 1에서 CEA 과제에서 1.000 F1 점수를 기록하여 해당 라운드에서 정밀도와 재현율이 완벽한 것으로 나타났다.
• 라운드 3에서 MTab는 CTA 점수 1.956을 기록하여 SemTab 2019 도전 대회에서 모든 시스템 중 최고의 성능을 보였다.
• CPA 과제에서는 라운드 3에서 F1 점수 0.844, 라운드 4에서 0.832를 기록하여 우수한 성능를 유지했다.
• 다국어 검색과 언어 인식 처리를 활용하여 다양한 표 유형과 언어에서 강건성을 입증했다.
• 다양한 신호의 집계는 특히 커버리지가 낮거나 모호한 경우 엔티티 후보 순위를 크게 향상시켰다.
• 확률 모델에서 학습 가능한 가중치를 사용함으로써 동적 신호 통합이 가능해져 다양한 표 구조에 대한 일반화 능력이 향상되었다.