[논문 리뷰] Entity Alignment For Knowledge Graphs: Progress, Challenges, and Empirical Studies

Deepak Chaurasiya, Anil Surisetty외 6명|arXiv (Cornell University)|2022. 05. 18.

Data Quality and Management인용 수 4

한 줄 요약

이 논문은 지식 그래프를 위한 임bedding 기반 엔티티 정합(EA) 방법에 대한 종합적인 서베이와 실증 분석을 제시하며, 허브니스, 차수 분포, 비동형 이웃, 이름 편향에 초점을 맞춘 네 가지 연구 질문을 제기한다. 이름 편향이 낮은 데이터셋을 생성하기 위해 새로운 그래프 샘플링 방법을 제안하고, 허브니스를 정량화하기 위한 h-스코어를 도입하며, 14종의 EA 방법을 포함한 오픈소스 라이브러리를 공개하여 산업 현장에서의 강건한 벤치마킹과 일반화 능력을 향상시킨다.

ABSTRACT

Entity Alignment (EA) identifies entities across databases that refer to the same entity. Knowledge graph-based embedding methods have recently dominated EA techniques. Such methods map entities to a low-dimension space and align them based on their similarities. With the corpus of EA methodologies growing rapidly, this paper presents a comprehensive analysis of various existing EA methods, elaborating their applications and limitations. Further, we distinguish the methods based on their underlying algorithms and the information they incorporate to learn entity representations. Based on challenges in industrial datasets, we bring forward $4$ research questions (RQs). These RQs empirically analyse the algorithms from the perspective of extit{Hubness, Degree distribution, Non-isomorphic neighbourhood,} and extit{Name bias}. For Hubness, where one entity turns up as the nearest neighbour of many other entities, we define an $h$-score to quantify its effect on the performance of various algorithms. Additionally, we try to level the playing field for algorithms that rely primarily on name-bias existing in the benchmarking open-source datasets by creating a low name bias dataset. We further create an open-source repository for $14$ embedding-based EA methods and present the analysis for invoking further research motivations in the field of EA.

연구 동기 및 목표

• 실제 산업 환경에서의 엔티티 정합(EA) 방법에 대한 강건한 평가 프레임워크가 부족한 점을 보완하기 위해, 흔히 존재하는 편향과 구조적 과제를 포함한 실제 데이터에서의 성능을 평가하고자 한다.
• 허브니스, 차수 변동성, 비동형 하위그래프, 이름 편향과 같은 실제 데이터 문제 상황에서 일반적인 EA 방법의 성능을 조사하고자 한다.
• 그래프의 특성을 유지하면서 이름 편향을 최소화하는 새로운 그래프 샘플링 기법을 개발하여 더 신뢰할 수 있는 벤치마킹을 가능하게 하고자 한다.
• 14종의 임베딩 기반 EA 방법을 구현한 오픈소스 라이브러리를 공개하여 재현 가능성 확보 및 향후 연구 촉진을 목적으로 한다.
• 실제 지식 그래프에서의 구조적 및 언어적 편향에 대해 어느 방법이 가장 강건한지에 대한 실증적 통찰을 제공하고자 한다.

제안 방법

• 구조 정보를 활용하는 방식에 따라 EA 방법을 새롭게 분류한다: 구조 인식형(S), 구조 및 관계 인식형(SR), 구조 및 속성 인식형(SA).
• 정합 결과에서 허브니스의 정도를 정량화하기 위해 h-스코어 지표를 도입한다. 높은 h-스코어는 일부 엔티티가 반복적으로 가장 가까운 이웃으로 선택됨을 의미한다.
• 전체 그래프 특성인 차수 분포와 군집 계수 등을 유지하면서 이름 유사도가 낮은 엔티티 쌍을 선택하는 새로운 그래프 샘플링 기법을 개발한다.
• 기존 데이터셋에 샘플링 기법을 적용하여 다국어, 저이름편향 벤치마크 데이터셋(EN-FR LNB)을 구축함으로써 EA 알고리즘의 공정한 평가를 가능하게 한다.
• 엔티티 임베딩은 지식 그래프 임베딩 모델(예: TransE, GNNs)을 통해 학습하고, 이후 임베딩 공간 내에서 최근접 이웃 탐색을 수행하여 정합을 수행하는 프레임워크를 활용한다.
• 이름 유사도 평가에 BERT 기반 임베딩을 사용하고, 이름 편향 수준이 다른 데이터셋 간 성능을 비교함으로써 언어적 의존성을 분리한다.

실험 결과

연구 질문

• RQ1 지식 그래프에서 일부 엔티티가 많은 다른 엔티티의 가장 가까운 이웃이 되는 허브니스 문제를 해결하는가?
• RQ2 특히 희소하거나 고도로 연결된 영역에서, 다양한 차수를 가진 엔티티들 사이의 정합 정확도를 유지하는가?
• RQ3 원천의 차이 또는 불완전성으로 인해 두 지식 그래프 간에 비동형 하위그래프를 가진 엔티티들을 정합할 수 있는가?
• RQ4 엔티티 이름의 편향이 정확도 점수를 과도하게 높이는가? 그리고 저이름편향 데이터셋에서는 어떤 성능을 보이는가?

주요 결과

• h-스코어 지표는 허브니스가 정합 성능에 상당한 영향을 미친다는 것을 드러내며, MTransE와 같은 방법은 허브 엔티티에 더 민감한 것으로 나타났다.
• 구조 전용 방법에서는 저차수 엔티티의 정합 정확도가 급격히 떨어지지만, 속성 정보(예: AttrE) 또는 언어적 특징(예: RDGCN)을 사용하는 방법은 더 일관된 성능을 보였다.
• RDGCN과 HGCN은 고편향 데이터셋(EN-FR V1)에서 높은 정확도를 기록했으나(각각 Hits@1 75.17, 77.93), 저편향 데이터셋(EN-FR LNB)에서는 성능이 크게 하락(각각 Hits@1 61.10, 65.63)하여 강한 이름 편향 의존성을 보였다.
• AttrE는 이름 편향이 감소할 때 정확도 감소 폭이 가장 작았으며(45.25 → 38.77 Hits@1), 다중 속성 정보에 의존함을 보여주며 가장 강건한 성능를 보였다.
• 구조 정보에만 의존하는 방법(예: MTransE)은 비동형 이웃 구조를 다룰 때 정합 정확도가著 떨어지지만, 속성 또는 언어적 특징을 사용하는 방법(예: AliNet, RDGCN)은 더 나은 성능 유지가 가능했다.
• 제안된 저이름편향 데이터셋(EN-FR LNB)은 BERT 기반 이름 유사도를 0.57까지 낮춰 EA 모델의 진정된 일반화 능력을 폭 드러내었으며, 이름 기반 방법이 실제 저유사도 상황에서는 신뢰할 수 없다는 것을 확인했다.