[논문 리뷰] Realistic Re-evaluation of Knowledge Graph Completion Methods: An Experimental Study

Farahnaz Akrami, Mohammed Samiul Saeef외 3명|arXiv (Cornell University)|2020. 03. 18.

Advanced Graph Neural Networks참고 문헌 40인용 수 12

한 줄 요약

이 논문은 표준 벤치마크인 FB15k, WN18, YAGO3-10에서 비현실적인 데이터 아티팩트인 반전 관계 및 중복 관계를 식별하고 제거함으로써 지식 그래프 완성(KGC) 방법을 철저히 재평가한다. 연구 결과, 이러한 부가적인 관계가 제거되면 최신 임bedding 모델들(예: RotatE, TuckER)의 정확도가 크게 떨어지며, 이는 이전 성능 향상의 대부분이 진정한 예측 능력이 아닌 데이터 泄漏 때문임을 보여주며, KGC 분야의 기존 평가 방식의 타당성을 도전한다.

ABSTRACT

In the active research area of employing embedding models for knowledge graph completion, particularly for the task of link prediction, most prior studies used two benchmark datasets FB15k and WN18 in evaluating such models. Most triples in these and other datasets in such studies belong to reverse and duplicate relations which exhibit high data redundancy due to semantic duplication, correlation or data incompleteness. This is a case of excessive data leakage---a model is trained using features that otherwise would not be available when the model needs to be applied for real prediction. There are also Cartesian product relations for which every triple formed by the Cartesian product of applicable subjects and objects is a true fact. Link prediction on the aforementioned relations is easy and can be achieved with even better accuracy using straightforward rules instead of sophisticated embedding models. A more fundamental defect of these models is that the link prediction scenario, given such data, is non-existent in the real-world. This paper is the first systematic study with the main objective of assessing the true effectiveness of embedding models when the unrealistic triples are removed. Our experiment results show these models are much less accurate than what we used to perceive. Their poor accuracy renders link prediction a task without truly effective automated solution. Hence, we call for re-investigation of possible effective approaches.

연구 동기 및 목표

• 지식 그래프 완성(KGC) 모델의 성능에 영향을 주는 데이터 중복성—특히 반전 및 중복 관계—의 영향을 조사하기 위해.
• FB15k 및 WN18과 같은 표준 벤치마크에서 높은 성능가가 주로 데이터 泄漏 때문이지 모델의 효과성 때문이 아니라는 것을 입증하기 위해.
• 반전 및 중복 관계를 제거함으로써 더 현실적인 벤치마크(예: FB15k-237, WN18RR, YAGO3-10-DR)를 제안하고 평가하기 위해.
• 기본 진리값에 포함되지 않은 정확한 예측을 페널티 처리하는 현재 평가 지표의 타당성을 도전하기 위해.
• 실제 조건에서 효과적인 자동화된 솔루션이 없음을 주장하며, KGC 접근법의 재평가를 촉구하기 위해.

제안 방법

• 저자들은 FB15k와 WN18에서 반전 삼중항(예: (h,r,t)와 (t,r⁻¹,h))을 체계적으로 식별하고 제거하여 새로운 벤치마크인 FB15k-237과 WN18RR를 구축한다.
• 또한 YAGO3-10에서 중복 관계(예: isAffiliatedTo와 playsFor)를 식별하고 제거하여 Cartesian 곱 유형의 중복성을 제거한 YAGO3-10-DR를 만든다.
• 표준 지표인 FHits@1과 FMRR를 사용하여 기존 및 정제된 벤치마크에서 여러 KGC 모델(TransE, RotatE, TuckER, AMIE)을 평가한다.
• 반전 삼중항 통계에 기반한 단순 규칙 기반 모델을 구축하여 복잡한 임베딩 모델보다 기본 통계가 더 높은 성능을 낼 수 있는지 테스트한다.
• 관계 유형별(1:1, 1:n, n:1, n:m) 아블레이션 연구를 수행하여 다양한 관계 패턴에서 모델의 행동을 분석한다.
• 데이터셋과 지표 간의 성능을 비교하여 표준 평가와 현실적인 평가 간의 괴리를 드러낸다.

실험 결과

연구 질문

• RQ1 FB15k와 WN18의 반전 관계는 KGC 모델의 성능을 어느 정도 과대평가하는가?
• RQ2 반전 삼중항 비율이 높은 데이터셋에서 단순 규칙 기반 모델이 복잡한 임베딩 모델을 능가할 수 있는가?
• RQ3 비현실적인 관계가 제거된 표준 벤치마크에서 FHits@1과 FMRR와 같은 성능 지표는 어떻게 변화하는가?
• RQ4 임베딩 모델은 반전 및 중복 관계가 제거된 현실적인 정제된 데이터셋인 FB15k-237과 WN18RR에서도 여전히 효과적인가?
• RQ5 반전 및 중복 관계로 인한 데이터 泄漏로 인해 현재 평가 방식이 잘못된 방향으로 유도되고 있는가?

주요 결과

• FB15k의 훈련 및 테스트 세트에서 70%의 삼중항이 반전 쌍을 이룬다. WN18의 테스트 세트에서는 92.5%의 삼중항이 훈련 세트에 반전 대응이 존재하여 막대한 데이터 중복성이 있음을 시사한다.
• 단순 규칙 기반 모델이 FB15k에서 71.6%의 FHits@1, WN18에서 96.4%의 FHits@1을 달성하여 반전 삼중항 통계에 의존함으로써 복잡한 임베딩 모델을 능가한다.
• 반전 및 중복 관계를 제거한 후, 모든 임베딩 모델의 성능이 FB15k-237과 WN18RR에서 크게 저하되었으며, 이 중 RotatE와 TuckER가 상위 성능을 보였다.
• YAGO3-10-DR에서는 중복 관계가 제거되었고, 이 경우 AMIE가 FHits@1과 FMRR에서 임베딩 모델을 능가하여, 현실적인 데이터에서는 규칙 기반 방법이 더 효과적일 수 있음을 시사한다.
• 기본 진리값에 포함되지 않은 정확한 예측이 제외될 경우 FHits@1과 FMRR 지표는 오류를 페널티 처리하므로 오해의 소지가 있다.
• 결과적으로 현재 KGC 모델들은 현실 조건에서 안정성이 떨어지며, 데이터 아티팩트가 제거된 상황에서는 링크 예측에 진정으로 효과적인 자동 솔루션이 존재하지 않음을 보여준다.