[논문 리뷰] Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation

Zequn Sun, Chengming Wang외 5명|arXiv (Cornell University)|2019. 11. 20.

Advanced Graph Neural Networks참고 문헌 34인용 수 20

한 줄 요약

이 논문은 게이트드 어텐션 메커니즘을 통해 다중 힙 이웃 정보를 집계하여 크로스-KG 엔티티 정렬에서 이웃 구조의 비이sono모피즘 문제를 완화하는 AliNet을 제안한다. 직접 이웃과 먼 이웃을 융합함으로써 정렬 성능을 햖스하고, 관계 손실을 사용하여 표현을 정교화함으로써 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph neural networks (GNNs) have emerged as a powerful paradigm for embedding-based entity alignment due to their capability of identifying isomorphic subgraphs. However, in real knowledge graphs (KGs), the counterpart entities usually have non-isomorphic neighborhood structures, which easily causes GNNs to yield different representations for them. To tackle this problem, we propose a new KG alignment network, namely AliNet, aiming at mitigating the non-isomorphism of neighborhood structures in an end-to-end manner. As the direct neighbors of counterpart entities are usually dissimilar due to the schema heterogeneity, AliNet introduces distant neighbors to expand the overlap between their neighborhood structures. It employs an attention mechanism to highlight helpful distant neighbors and reduce noises. Then, it controls the aggregation of both direct and distant neighborhood information using a gating mechanism. We further propose a relation loss to refine entity representations. We perform thorough experiments with detailed ablation studies and analyses on five entity alignment datasets, demonstrating the effectiveness of AliNet.

연구 동기 및 목표

• 스키마 이질성과 데이터 불완전성으로 인한 크로스-KG 엔티티 정렬에서 이웃 구조의 비이sono모피즘 문제를 해결하기 위해.
• 직접 이웃을 초월해 이웃 겹침을 확장함으로써 대응 엔티티의 표현 학습을 향상시키기 위해.
• 직접 이웃과 먼 이웃 정보를 효과적으로 집계하면서 노이즈를 줄이는 엔드 투 엔드 프레임워크를 개발하기 위해.
• 삼각형 관계와 같은 구조적 패턴을 포착하는 관계 손실을 도입함으로써 모델 표현력을 향상시키기 위해.
• 외부 보조 정보에 의존하지 않고도 여러 엔티티 정합 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• AliNet는 각 엔티티의 한 스탭 및 먼 이웃으로부터 정보를 수집하는 다중 힙 이웃 집계 메커니즘을 사용한다.
• 멀티 힙 이웃의 중요도를 동적으로 가중하기 위해 어텐션 메커니즘을 활용하여 노이즈를 줄이고 의미적으로 관련성이 높은 노드를 강조한다.
• 여러 집계 함수의 출력을 결합하는 게이트 메커니즘이 직접 이웃과 다중 힙 이웃 표현의 적응형 융합을 가능하게 한다.
• 임베딩 공간에서 삼각형 관계와 같은 구조적 패턴의 정렬을 장려하는 관계 손실 함수를 통합한다.
• 모든 레이어의 특징을 조합하여 표현력을 향상시키고 강건성을 높인다.
• 프레임워크는 엔드 투 엔드로 훈련되어 이웃 집계와 정렬 목표의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 대응 엔티티의 이웃 구조가 비이sono모피즘일 경우, 다중 힙 이웃 집계가 엔티티 정합에 도움이 될 수 있는가?
• RQ2 노이즈를 억제하면서 유용한 먼 이웃을 선택하는 데에 어텐션 메커니즘이 얼마나 효과적인가?
• RQ3 게이트 메커니즘이 GNN 기반 정합에서 직접 이웃과 먼 이웃 정보의 융합에 얼마나 기여하는가?
• RQ4 삼각형 관계와 같은 구조적 패턴을 포착하는 관계 손실을 통합함으로써 정합 성능이 향상되는가?
• RQ5 낮은 겹침 비율을 보이는 엔티티 쌍에 대해 AliNet은 기존 GNN 기반 모델에 비해 얼마나 강건한가?

주요 결과

• AliNet는 다섯 개의 엔티티 정합 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 GNN 기반 모델을 능가한다.
• DBP15K에서 AliNet는 Hits@1이 0.657을 기록하여 GCN(0.552) 및 기타 베이스라인보다 유의미하게 높게 개선되었다.
• 훈련 중 평균 겹침 계수(OC) 값이 낮아, 한 스탭 이웃 겹침 비율이 낮은 엔티티 쌍에서도 모델이 뛰어난 성능을 보였다.
• 제거 실험 결과, 게이트드 집계 및 관계 손실 구성 요소가 성능 향상에 기여한다는 것이 확인되었다.
• 레이어별 분석 결과, 여러 레이어의 표현을 조합하는 것이 단일 레이어를 사용하는 것보다 더 나은 정합 결과를 도출함을 보여주었다.
• 어텐션 메커니즘이 관련성이 높은 먼 이웃을 효과적으로 식별하여 이질적인 KG에서의 강건성을 향상시켰다.