[논문 리뷰] EAGER: Embedding-Assisted Entity Resolution for Knowledge Graphs

Daniel Obraczka, Jonathan Schuchart외 1명|arXiv (Cornell University)|2021. 01. 15.

Data Quality and Management참고 문헌 39인용 수 4

한 줄 요약

EAGER는 지식 그래프를 위한 새로운 지도 학습 기반 엔티티 해석 시스템으로, 기계 학습 분류기들을 사용해 그래프 임베딩과 속성 유사도를 통합한다. 통계적으로 유의미한 성과 향상을 이끌어내며, 특히 더 깊은 지식 그래프에서 최신 기술들을 능가한다.

ABSTRACT

Entity Resolution (ER) is a constitutional part for integrating different knowledge graphs in order to identify entities referring to the same real-world object. A promising approach is the use of graph embeddings for ER in order to determine the similarity of entities based on the similarity of their graph neighborhood. The similarity computations for such embeddings translates to calculating the distance between them in the embedding space which is comparatively simple. However, previous work has shown that the use of graph embeddings alone is not sufficient to achieve high ER quality. We therefore propose a more comprehensive ER approach for knowledge graphs called EAGER (Embedding-Assisted Knowledge Graph Entity Resolution) to flexibly utilize both the similarity of graph embeddings and attribute values within a supervised machine learning approach. We evaluate our approach on 23 benchmark datasets with differently sized and structured knowledge graphs and use hypothesis tests to ensure statistical significance of our results. Furthermore we compare our approach with state-of-the-art ER solutions, where our approach yields competitive results for table-oriented ER problems and shallow knowledge graphs but much better results for deeper knowledge graphs.

연구 동기 및 목표

• 다양한 엔티티 유형, 스키마 불일치, 다양한 속성 표현 방식을 가진 이질적인 지식 그래프에서 엔티티 해석의 과제를 해결하기 위해.
• 기존의 엔티티 해석 방법들이 스키마 매칭에 크게 의존하거나 복잡하고 깊은 지식 그래프에서 성능이 떨어지는 한계를 극복하기 위해.
• 구조적(그래프 임베딩) 및 속성 기반 유사성 신호를 효과적으로 통합하는 일반적이고 스키마에 종속되지 않는 엔티티 해석 시스템을 개발하기 위해.
• 다양하고 실제 세계의 지식 그래프 데이터셋에서 임베딩과 속성을 통합하는 것의 효과성과 효율성을 평가하기 위해.
• 크기와 구조가 다양한 23개의 데이터셋을 사용하여 지식 그래프의 엔티티 해석에 대한 벤치마크를 수립하기 위해.

제안 방법

• EAGER는 이전 연구에서 가장 우수한 성능을 보인 그래프 임베딩(예: TransE, node2vec, DeepWalk)을 활용해 엔티티를 구조적 및 의미적 관계를 반영하는 저차원 벡터 공간으로 인코딩한다.
• 문자열, 날짜, 숫자 속성 등 표준 유사도 함수를 사용해 정규화 및 비교를 통해 속성 유사도를 추출한다.
• 각 엔티티 쌍에 대해 임베딩 기반 및 속성 기반 특징을 하나의 특징 벡터로 통합한다.
• 레이블이 부여된 엔티티 쌍을 기반으로 지도 학습 분류기(예: MLP, Random Forest, XGBoost)를 훈련시켜 매칭 여부를 예측한다.
• 다양한 임베딩과 분류기를 통합할 수 있는 유연한 구성 지원을 통해 성능 트레이드오프를 평가할 수 있다.
• 성능 차이의 통계적 유의성을 검증하기 위해 통계적 가설 검정(Friedman 및 Nemenyi 검정)을 사용한다.

실험 결과

연구 질문

• RQ1 지식 그래프의 이질성에 비추어 복수의 엔티티 해석 정확도를 향상시키기 위해, 지도 학습 프레임워크 내에서 그래프 임베딩과 속성 유사도를 통합하는 것이 유의미한 성능 향상을 이끌 수 있는가?
• RQ2 다양한 지식 그래프 아키텍처에서 EAGER는 Magellan 및 DeepMatcher와 같은 최신 기술 엔티티 해석 시스템보다 어떻게 성능을 내는가?
• RQ3 임베딩과 속성 유사도를 통합하면, 별도로 사용할 경우보다 더 나은 결과를 낼 수 있는가, 특히 더 깊고 복잡한 지식 그래프에서 그런가?
• RQ4 다양한 데이터셋에서 가장 강력하고 효과적인 성능을 내는 그래프 임베딩과 분류기의 조합은 무엇인가?
• RQ5 EAGER의 성능 향상은 다수의 벤치마크 데이터셋에서 통계적으로 유의미한가?

주요 결과

• EAGER는 23개의 벤치마크 데이터셋 전반에서 Magellan을 뛰어넘으며, Nemenyi 검정에서 평균 순위 1.125를 기록해 전체적으로 뛰어난 성능을 보였다.
• 더 깊은 지식 그래프에서 EAGER는 MLP 분류기를 사용해 DeepMatcher보다 유의미하게 높은 F-측도를 달성했으며, Friedman 검정 결과 p-value는 2.21×10⁻¹¹로 통계적 유의성을 확인했다.
• 표 형태의 지식 그래프 및 浅층 지식 그래프에서는 EAGER가 최신 기술들과 경쟁 가능했으며, 여러 데이터셋에서 F-측도 0.98 이상을 기록했다.
• 그래프 임베딩과 속성 유사도의 조합은 별도로 사용할 경우보다 항상 높은 F-측도를 기록했으며, 다중 모odal 특징 융합의 가치를 입증했다.
• 100K 규모의 데이터셋에서 EAGER의 MLP 모델은 D-Y(V2)에서 F-측도 0.995를 기록했으며, DeepMatcher(0.993)와 Magellan(0.984)을 모두 뛰어넘었다.
• Nemenyi 검정의 임계 거리도표는 EAGER(MLP)가 DeepMatcher 및 Magellan보다 유의미하게 뛰어나며, 신뢰 구간이 겹치지 않음을 확인했다.