[논문 리뷰] Are Negative Samples Necessary in Entity Alignment? An Approach with High Performance, Scalability and Robustness

Xin Mao, Meng Wan외 2명|arXiv (Cornell University)|2021. 08. 11.

Advanced Graph Neural Networks참고 문헌 48인용 수 4

한 줄 요약

이 논문은 대규모 지식 그래프에서 높은 성능, 확장성, 내성성을 달성하기 위해 음성 샘플링을 제거하는 새로운 엔티티 정렬 방법인 PSR를 제안한다. 대칭적이고 음성 샘플링이 없는 손실 함수와 간소화된 관계 기반 그래프 샘플링 인코더를 도입함으로써, 선형 시간 및 메모리 복잡도를 가지며 기존 방법들을 능가하는 최신 기술 수준(SOTA)의 성능을 달성한다. PSR는 최소한의 GPU 메모리 요구량을 충족시키며 증분 학습을 지원함으로써, 대규모 지식 그래프에서 뛰어난 성능을 발휘한다.

ABSTRACT

Entity alignment (EA) aims to find the equivalent entities in different KGs, which is a crucial step in integrating multiple KGs. However, most existing EA methods have poor scalability and are unable to cope with large-scale datasets. We summarize three issues leading to such high time-space complexity in existing EA methods: (1) Inefficient graph encoders, (2) Dilemma of negative sampling, and (3) "Catastrophic forgetting" in semi-supervised learning. To address these challenges, we propose a novel EA method with three new components to enable high Performance, high Scalability, and high Robustness (PSR): (1) Simplified graph encoder with relational graph sampling, (2) Symmetric negative-free alignment loss, and (3) Incremental semi-supervised learning. Furthermore, we conduct detailed experiments on several public datasets to examine the effectiveness and efficiency of our proposed method. The experimental results show that PSR not only surpasses the previous SOTA in performance but also has impressive scalability and robustness.

연구 동기 및 목표

• 대규모 지식 그래프에서 기존 엔티티 정렬 방법의 높은 시간 및 공간 복잡도 문제를 해결하기 위해.
• 엔티티 정렬에서 계산 비용이 많이 들고 종종 저품질인 음성 샘플링이 필요로 하는 문제를 제거하기 위해.
• 증분 준지도 학습을 가능하게 하고 메모리 소비를 줄임으로써 확장성과 내성성을 향상시키기 위해.
• 비용이 많이 드는 샘플링이나 복잡한 아키텍처에 의존하지 않고도 다양한 데이터셋, 특히 희소성과 대규모 그래프에서 높은 성능을 유지하기 위해.

제안 방법

• 구조적이고 관계적인 정보를 유지하면서 계산 비용을 줄이기 위해 관계 기반 그래프 샘플링을 활용한 간소화된 그래프 인코더를 제안한다.
• 음성 쌍이 필요 없이 직접적으로 엔티티의 동치성을 최적화하는 대칭적이고 음성 샘플링이 없는 정렬 손실 함수를 도입한다.
• catastrophic forgetting을 완화하고 선형 확장 가능한 학습을 가능하게 하기 위해 검토 메커니즘을 갖춘 증분 준지도 학습 전략을 활용한다.
• 배치 크기와 그래프 밀도에 비례해 선형적으로 증가하는 메모리 소비를 가지는 미니배치 학습을 사용하여 제한된 GPU 메모리 환경에서도 구현이 가능하도록 한다.
• 희소 엔티티, 특히 저밀도 그래프에서의 성능 향상을 위해 리터럴 특징을 보조 신호로 통합한다.
• 조금씩 초기 샘플을 재학습하는 데에만 집중함으로써 성능와 학습 효율성의 균형을 이루는 검토 임계값 메커니즘을 설계한다.

실험 결과

연구 질문

• RQ1 음성 샘플링 없이도 엔티티 정렬을 효과적으로 수행할 수 있으며, 이는 모델 설계와 효율성에 어떤 영향을 미치는가?
• RQ2 시간 및 공간 복잡도를 크게 줄이면서도 성능를 유지하기 위해 그래프 인코더를 어떻게 단순화할 수 있는가?
• RQ3 검토 메커니즘을 갖춘 증분 학습이 증가하는 지식 그래프에서 치명적인 기억 상실을 방지하고 확장 가능한 학습을 가능하게 할 수 있는가?
• RQ4 음성 샘플링이 없는 모델의 성능는 대규모 및 희소 지식 그래프에서 최신 기술 수준(SOTA) 방법과 비교해 어떻게 되는가?

주요 결과

• PSR는 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능를 달성하며, 이전 SOTA 방법들보다 Hits@1 점수에서 뛰어난 성능를 보였다.
• 배치 크기가 128인 작은 크기와 임bedding 차원이 100인 낮은 차원에서도 PSR은 Hits@1에서 각각 2%와 3% 이하의 성능 저하만 보였다.
• PSR의 메모리 소비는 배치 크기와 그래프 밀도에 비례해 선형적으로 증가하므로, 12GB 메모리만을 가진 GPU에서도 학습이 가능하며, 이는 이전 방법들이 이 한계를 초과하는 것과 대비된다.
• 검토 임계값을 갖춘 증분 학습 전략은 성능를 유지하면서도 훈련 시간을 크게 줄였으며, 데이터셋 크기에 따라 선형 확장성을 입증했다.
• SRPRS_{DE-EN}과 같은 희소 데이터셋에서 리터럴 특징을 사용한 PSR은 구조적 정보만을 사용한 모델보다 뛰어난 성능를 보였으며, 저연결성 영역에서 보조 정보의 가치를 입증했다.
• 대칭적이고 음성 샘플링이 없는 손실 함수는 비용이 많이 드는 음성 샘플링이 필요 없게 하여, k-최근접 이웃 샘플링에 의존하는 방법들보다 훈련 시간을 25% 이상 단축시켰다.