[논문 리뷰] Distributed Representations of Entities in Open-World Knowledge Graphs

Lingbing Guo, Zhuo Chen외 8명|arXiv (Cornell University)|2020. 10. 16.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 자기 특징에 의존하지 않고 이웃 임베딩만을 사용하여 엔티티 임베딩을 학습하는 분산 지식 그래프 표현 학습 방법인 decentRL을 제안한다. 이는 그래프 어텐션 메커니즘(DAN)을 활용하며, 출력 표현을 최적화하기 위해 지식 정복을 위한 자동 디스틸러(auto-distiller)를 도입하여, 구조적 데이터만을 사용하는 인덕티브 설정에서도 엔티티 정렬 및 엔티티 예측에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Graph neural network (GNN)-based methods have demonstrated remarkable performance in various knowledge graph (KG) tasks. However, most existing approaches rely on observing all entities during training, posing a challenge in real-world knowledge graphs where new entities emerge frequently. To address this limitation, we introduce Decentralized Attention Network (DAN). DAN leverages neighbor context as the query vector to score the neighbors of an entity, thereby distributing the entity semantics only among its neighbor embeddings. To effectively train a DAN, we introduce self-distillation, a technique that guides the network in generating desired representations. Theoretical analysis validates the effectiveness of our approach. We implement an end-to-end framework and conduct extensive experiments to evaluate our method, showcasing competitive performance on conventional entity alignment and entity prediction tasks. Furthermore, our method significantly outperforms existing methods in open-world settings.

연구 동기 및 목표

• 기존 GNN 기반 지식 그래프 임베딩 모델이 새로운 엔티티에 대해 입력 특징을 필요로 하는 한계를 해결하기 위해, 이는 개방형 환경에서 자주 가용하지 않기 때문이다.
• 자신의 표현을 제외한 이웃 정보로부터만 엔티티 표현을 학습하는 방법을 개발하여, 구조적 데이터만으로도 인덕티브 표현 학습을 가능하게 하기 위함이다.
• 원래 엔티티 표현에 직접적인 특징 감독 없이도 출력 임베딩이 지속적으로 학습할 수 있도록 효과적인 최적화 메커니즘을 설계하기 위함이다.
• 중앙집중적 집약과 비교했을 때 분산 학습이 하류 작업에서의 강인성과 성능 향상에 기여하는지 확인하기 위함이다.

제안 방법

• 자신의 표현을 제외한 이웃 임베딩만을 집약하여 엔티티 임베딩을 계산하는 분산 어텐션 네트워크(DAN)를 제안한다. 이는 GAT의 변종이다.
• 원래 표현과 정복된 표현 간 상호정보량을 최대화함으로써, 출력 임베딩과 그 목표를 번갈아 최적화하는 자동 디스틸러 알고리즘을 설계한다.
• 지식 정복을 통해 출력 임베딩을 정교화하여, 학습 배치 전반에 걸쳐 원래 엔티티 표현으로부터 지속적으로 학습할 수 있도록 한다.
• 각 엔티티의 출력 표현을 원래 표현과 일치시키기 위해 자동 디스틸러를 적용하며, 차원 불일치 가능성을 피하기 위해 직접적인 L1/L2 최소화를 피한다.
• 이웃이 동시에 컨텍스트이자 쿼리가 되는 대칭 어텐션 메커니즘을 통합하여 표현력과 강인성을 향상시킨다.
• DAN과 지식 정복을 종합적으로 통합하여 개방형 지식 그래프에서 인덕티브 표현 학습을 위한 엔드 투 엔드 프레임워크를 구성한다.

Figure 1: Comparing graph attention network (GAT) with decentralized attention network (DAN).

실험 결과

연구 질문

• RQ1 자기 특징이나 입력 특징 없이도 이웃 임베딩만으로 엔티티 표현을 효과적으로 학습할 수 있는가?
• RQ2 원래 엔티티 표현이 직접 입력으로 사용되지 않는 경우 출력 임베딩은 어떻게 최적화할 수 있는가?
• RQ3 이웃 전용 어텐션을 통한 분산 집약 방식이 기존 GNN과 비교해 엔티티 정렬 및 예측 성능을 향상시키는가?
• RQ4 원래 표현에서 출력 표현으로의 지식 정복이 모델 일반화 능력과 인덕티브 바이어스를 향상시키는가?

주요 결과

• decentRL은 DBP15K의 세 언어 쌍(ZH-EN, JA-EN, FR-EN) 전반에서 엔티티 정렬 작업에서 최신 기술 수준 성능을 달성하였으며, 각각 MRR 점수는 0.672, 0.678, 0.689를 기록했다.
• 엔티티 예측 작업에서는 decentRL + DistMult가 모든 베이스라인을 압도하여 FB15K-237에서 최고의 MRR 점수를 기록했으며, 특히 장꼬리 엔티티의 평균 랭크(MR)를 크게 향상시켰다.
• 개방형 환경 설정에서 decentRL + DistMult는 CompGCN + ConvE 및 기타 최신 기술 수준 모델을 뛰어넘었으며, 오직 구조적 데이터만으로도 강력한 인덕티브 바이어스를 보였다.
• 자동 디스틸러는 L2나 InfoNCE 손실을 사용하는 베이스라인 대비 성능을 크게 향상시켰으며, H@1 점수는 L2 대비 최대 0.01, InfoNCE 대비 최대 0.015 향상되었다.
• decentRL은 중심화된 변종(centRL)을 명확히 앞서며, 자기 특징을 배제함으로써 표현 품질 향상과 간섭 방지를 확인할 수 있었다.
• 층별 분석 결과, decentRL은 모든 층에서 AliNet을 일관되게 능가했으며, 층을 더 쌓을수록 성능 향상이 커졌고, 반면 AliNet는 두 층 이후 성능 저하가 발생했다.

Figure 2: Open entity alignment results on DBP15K. Bars with dotted lines denote the performance drop compared with the corresponding results in the non-open setting. The same to the following.