[논문 리뷰] EchoEA: Echo Information between Entities and Relations for Entity Alignment

Xueyuan Lin, E Haihong외 2명|arXiv (Cornell University)|2021. 07. 07.

Advanced Graph Neural Networks참고 문헌 28인용 수 4

한 줄 요약

EchoEA는 엔티티와 관계 간의 정보 에코를 통해 엔티티 표현을 향상시키기 위해 더 깊고 네 수준의 자기주의 어텐션 GNN 인코더인 Echo를 제안한다. 또한 고품질의 준지도 학습 데이터를 생성하기 위해 속성 통합 이중 방향 글로벌 필터링 전략(ABGS)을 도입한다. 이 방법은 세 개의 다국어 지식 그래프 데이터셋에서 평균 Hits@1이 96%에 도달하여 기존의 최첨단 GNN 기반 방법들을 크게 앞서며 뛰어난 성능을 보였다.

ABSTRACT

Entity alignment (EA) plays an important role in automatically integrating knowledge graphs (KGs) from multiple sources. Recent approaches based on Graph Neural Network (GNN) obtain entity representation from relation information and have achieved promising results. Besides, more and more methods introduce semi-supervision to ask for more labeled training data. However, two challenges still exist in GNN-based EA methods: (1) Deeper GNN Encoder: The GNN encoder of current methods has limited depth (usually 2-layers). (2) Low-quality Bootstrapping: The generated semi-supervised data is of low quality. In this paper, we propose a novel framework, Echo Entity Alignment (EchoEA), which leverages 4-levels self-attention mechanism to spread entity information to relations and echo back to entities. Furthermore, we propose attribute-combined bi-directional global-filtered strategy (ABGS) to improve bootstrapping, reduce false samples and generate high-quality training data. The experimental results on three real-world cross-lingual datasets are stable at around 96\% at hits@1 on average, showing that our approach not only significantly outperforms the state-of-the-art GNN-based methods, but also is universal and transferable for existing EA methods.

연구 동기 및 목표

• 엔티티 정렬에서 일반적으로 2층인 얕은 GNN 인코더의 한계를 해결하기 위해, 과도한 스무딩과 제한된 수신 필드 문제를 해결하고자 한다.
• 준지도 학습 엔티티 정렬에서 낮은 품질의 부트스트래핑 문제를 해결하기 위해, 노이즈가 많은 위양성 및 음성 예측이 모델 성능을 떨어뜨리는 문제를 해결하고자 한다.
• 더 깊은 아키텍처를 통해 엔티티와 관계 간의 상호작용을 향상시키고 이중 방향 정보 흐름을 가능하게 하여 정보 교환을 강화하고자 한다.
• 표현 학습과 데이터 효율성을 동시에 향상시키기 위해 강력하고 보편적이며 이식 가능한 프레임워크를 개발하고자 한다.

제안 방법

• 일반적으로 2층 모델에 비해 5층의 GNN 깊이를 확보하기 위해, 엔티티 정보를 관계로 전파하고 이를 다시 에코백하는 네 수준의 자기주의 어텐션 메커니즘을 Echo 인코더에 설계한다.
• 지역 및 글로벌 정렬을 모두 활용하여 양성 및 음성 부트스트랩 샘플을 필터링하고 정제하는 속성 통합 이중 방향 글로벌 필터링 전략(ABGS)을 도입한다.
• 초기 시드 정렬의 품질을 향상시키고 반복적 부트스트래핑을 이끌기 위해 속성 유사도와 값 유사도를 활용한다.
• 낮은 신뢰도 예측을 제거하기 위해 글로벌 필터링을 적용하여 반복 학습 중 위양성 및 음성 예측을 줄인다.
• 엔티티와 관계 간 상호 기여를 모델링하기 위해 대칭적인 메시지 전달 메커니즘을 적용하여 표현 학습을 향상시킨다.
• 고신뢰도 예측을 동적으로 추가함으로써 훈련 세트를 확장하는 반복적 준지도 학습 루프와 Echo 인코더를 결합한다.

실험 결과

연구 질문

• RQ1 다양한 수준의 어텐션을 갖춘 더 깊은 GNN 아키텍처가 일반적으로 2층 GNN을 초월해 엔티티 정렬 성능을 향상시킬 수 있는가?
• RQ2 부트스트래핑에 양성 및 음성 샘플을 모두 통합할 경우, 단지 양성 샘플만 사용하는 방법에 비해 일반화 성능이 향상되고 노이즈가 감소하는가?
• RQ3 지역 및 글로벌 정렬 신호를 효과적으로 조합하여 반복적 엔티티 정렬에서 생성된 훈련 데이터의 품질을 필터링하고 향상시킬 수 있는가?
• RQ4 Echo 모델이 엔티티와 관계 간의 이중 방향 정보 흐름이 표현 학습과 정렬 정확도에 어떤 영향을 미치는가?
• RQ5 ABGS 전략이 최첨단 방법에 비해 부트스트랩 훈련 데이터의 위양성 및 음성 예측 비율을 얼마나 줄이는가?

주요 결과

• EchoEA는 세 개의 실세계 다국어 지식 그래프 데이터셋에서 평균 Hits@1이 약 96%에 도달하여 기존의 GNN 기반 방법들을 크게 앞서며 뛰어난 성능을 보였다.
• FR_EN 데이터셋에서 최고의 Hits@1이 97.91%에 도달하여 도전적인 다국어 정렬 작업에서 강력한 성능을 입증하였다.
• ABGS 전략은 최첨단 방법 MRAEA에 비해 위양성 비율과 음성 비율을 각각 약 50% 감소시켜 더 높은 품질의 부트스트랩 데이터를 생성함을 시사한다.
• 네 수준 어텐션을 갖춘 Echo 인코더는 RAGA를 능가하며, ABGS 없이도 Echo 구성 요소만으로도 RAGA의 성능을 초월함으로써 아키텍처의 효과성을 입증하였다.
• 절단 실험 결과 PAN, CAN, EN 구성 요소가 성능 향상에 크게 기여하며, 그 중 PAN이 가장 중요하고, 다음으로 CAN, EN이 뒤이었다.
• EchoEA의 엔티티 활용률은 100개의 훈련 에포크 동안 약 95%에 도달하여 생성된 부트스트랩 샘플을 효율적으로 활용하고 있으며, 데이터 품질과 커버리지 면에서 항상 MRAEA를 능가하였다.