[논문 리뷰] Uncertainty-Aware Relational Graph Neural Network for Few-Shot Knowledge Graph Completion

Qian Li, Shu Guo외 4명|arXiv (Cornell University)|2024. 03. 07.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 소수의 샘플로 구성된 지식 그래프 완성(few-shot knowledge graph completion)에서 불확실성을 고려하는 새로운 UFKGC 프레임워크를 제안한다. 이 프레임워크는 가우시안 분포 표현을 통해 엔티티와 관계의 불확실성을 모델링하고, 불확실성에 대응하는 관계 기반 GNN(UR-GNN)을 활용해 불확실성 하에서 이웃 정보를 집계한다. 가우시안 분포 내에서 다수의 랜덤 샘플링과 불확실성 최적화를 통해, 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 노이즈가 많고 데이터가 제한된 소수 샘플 데이터에 대해 뛰어난 내성성을 보여준다.

ABSTRACT

Few-shot knowledge graph completion (FKGC) aims to query the unseen facts of a relation given its few-shot reference entity pairs. The side effect of noises due to the uncertainty of entities and triples may limit the few-shot learning, but existing FKGC works neglect such uncertainty, which leads them more susceptible to limited reference samples with noises. In this paper, we propose a novel uncertainty-aware few-shot KG completion framework (UFKGC) to model uncertainty for a better understanding of the limited data by learning representations under Gaussian distribution. Uncertainty representation is first designed for estimating the uncertainty scope of the entity pairs after transferring feature representations into a Gaussian distribution. Further, to better integrate the neighbors with uncertainty characteristics for entity features, we design an uncertainty-aware relational graph neural network (UR-GNN) to conduct convolution operations between the Gaussian distributions. Then, multiple random samplings are conducted for reference triples within the Gaussian distribution to generate smooth reference representations during the optimization. The final completion score for each query instance is measured by the designed uncertainty optimization to make our approach more robust to the noises in few-shot scenarios. Experimental results show that our approach achieves excellent performance on two benchmark datasets compared to its competitors.

연구 동기 및 목표

• 제한된 기준 트리플로 인해 표현이 신뢰할 수 없게 되는 소수 샘플 지식 그래프 완성(FKGC) 문제에서 노이즈와 불확실성에 대응한다.
• 기존 FKGC 방법들이 엔티티를 결정론적 벡터로 간주하여 희소 데이터에서 내재된 불확실성을 忽略하는 한계를 극복한다.
• 확률적 표현을 통해 불확실성을 명시적으로 모델링하여 자원이 제한된 환경에서의 일반화 능력을 향상시킨다.
• 불확실성 모델링, 불확실성에 대응하는 메시지 전파, 불확실성 최적화 스코어링을 통합한 통합 프레임워크를 개발한다.

제안 방법

• 엔티티와 트리플 표현을 결정론적 벡터에서 가우시안 분포로 변환하여, 분산이 불확실성을 표현하도록 한다.
• 특징 분포 기반으로 엔티티 쌍의 불확실성 범위를 추정하는 불확실성 표현 모듈을 설계한다.
• 가우시안 분포로 표현된 노드 특징 간의 컨볼루션 연산을 수행하는 불확실성에 대응하는 관계 기반 GNN(UR-GNN)을 제안한다. 이는 집계 과정에서 불확실성을 유지한다.
• 최적화 과정에서 예측된 가우시안 분포로부터 다수의 랜덤 샘플링을 적용하여 부드럽고 다양한 기준 표현을 생성한다.
• 최종 완성 스코어를 측정하기 위해 불확실성 최적화를 도입하여, 노이즈가 있거나 불확실한 기준 트리플에 대해 강건성을 확보한다.
• 원본 데이터 분포를 유지하면서도 불확실성 공간 내에서의 스토하스틱 샘플링을 통해 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 기준 트리플이 제한된 소수 샘플 지식 그래프 완성에서 불확실성을 효과적으로 모델링하여 내성성을 향상시킬 수 있는가?
• RQ2 학습 데이터가 부족한 상황에서 불확실성에 대응하는 메시지 전파를 갖춘 그래프 신경망이 표현 학습을 향상시킬 수 있는가?
• RQ3 불확실성 최적화에서 가우시안 분포로부터의 최적의 랜덤 샘플 수는 얼마인가? 성능과 노이즈 사이의 균형을 고려할 때 어떻게 결정되는가?
• RQ4 UR-GNN의 레이어 수가 소수 샘플 지식 그래프 완성 성능 및 과도한 스무딩에 어떤 영향을 미치는가?

주요 결과

• 제안된 UFKGC 프레임워크는 NELL 및 Wiki 두 기준 데이터셋에서 다양한 소수 샘플 설정에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 SOTA 방법을 능가한다.
• NELL 데이터셋에서는 가우시안 분포당 10개의 랜덤 샘플이 최적의 성능을 내지만, Wiki 데이터셋에서는 8개가 최적임을 확인하여 분산과 노이즈 사이의 상충 관계를 확인할 수 있다.
• 3층의 UR-GNN 구성이 고차원 이웃 정보를 확보하면서도 과도한 스무딩을 방지하는 데 가장 적합한 균형을 이룬다.
• 랜덤 샘플 수를 늘일수록 성능이 특정 한계까지 향상되나, 이후 노이즈가 증가하면서 약간의 성능 저하가 발생한다.
• 불확실성에 대응하는 프레임워크는 특히 높은 불확실성을 지닌 저자원 시나리오에서 노이즈가 많은 기준 트리플에 대해 뛰어난 내성성을 보였다.
• 불확실성 최적화 메커니즘은 원본 데이터 분포를 왜곡하지 않으면서도 매끄럽고 샘플링된 표현으로부터 일관된 지식 학습을 가능하게 했다.