[논문 리뷰] Global and local evaluation of link prediction tasks with neural embeddings

Asan Agibetov, Matthias Samwald|arXiv (Cornell University)|2018. 07. 27.

Advanced Graph Neural Networks참고 문헌 17인용 수 5

한 줄 요약

이 논문은 지식 그래프 내 신경 임bedding 평가를 위한 통합 벤치마크를 제안하며, 링크 예측을 이진 분류 작업으로 프레임워크화하여 전역(모든 관계에 대해 단일 모델)과 국소(관계별 전용 모델) 학습 접근 방식을 비교한다. 전역으로 학습된 임베딩이 국소로 학습된 것과 유사한 F-measure(~0.8)를 달성함으로써 성능을 유지하면서도 확장성 향상이 가능하다는 것을 발견했으며, 오픈소스 도구를 통한 표준화되고 재현 가능한 평가를 권장한다.

ABSTRACT

We focus our attention on the link prediction problem for knowledge graphs, which is treated herein as a binary classification task on neural embeddings of the entities. By comparing, combining and extending different methodologies for link prediction on graph-based data coming from different domains, we formalize a unified methodology for the quality evaluation benchmark of neural embeddings for knowledge graphs. This benchmark is then used to empirically investigate the potential of training neural embeddings globally for the entire graph, as opposed to the usual way of training embeddings locally for a specific relation. This new way of testing the quality of the embeddings evaluates the performance of binary classifiers for scalable link prediction with limited data. Our evaluation pipeline is made open source, and with this we aim to draw more attention of the community towards an important issue of transparency and reproducibility of the neural embeddings evaluations.

연구 동기 및 목표

• 지식 그래프 링크 예측에서 신경 임베딩에 대한 표준화되고 투명하며 재현 가능한 평가 관행의 부족을 해결하기 위해.
• 전체 그래프에 대해 한 번만 학습하는 전역으로 학습된 임베딩가 관계별로 별도로 학습된 임베딩의 성능을 따라할 수 있는지 조사하기 위해.
• 공정하고 견고한 벤치마킹을 위해 전역 및 국소 평가 전략을 통합한 통합 평가 방법론을 체계화하기 위해.
• 이진 분류 설정에서 평균 순위 기반 지표의 한계를 부각하고, F-measure 및 AUC와 같은 분류기 기반 지표의 사용을 권장하기 위해.
• 오픈소스 평가 파이프라인을 공개하여 재현 가능성을 높이고, 지식 그래프 임베딩 벤치마킹의 표준화를 촉진하기 위해.

제안 방법

• 링크 예측을 이진 분류 작업으로 체계화하여, 모델이 (e_i, r_k, e_j) 삼중항이 참인지 거짓인지 엔티티 임베딩 기반으로 예측하도록 한다.
• 모든 관계에 대해 동일한 신경 모델을 사용하여 전역 임베딩을 학습함으로써, 관계별로 별도의 모델을 학습하는 것과 대비한다.
• 평균 순위나 평균 역수 순위와 같은 지표가 아닌 표준 이진 분류 지표(F-measure, AUC, 정밀도, 재현율)를 평가에 사용한다.
• 참 링크를 훈련 세트에서 제거하여 부정 샘플을 생성하고, 테스트 세트의 참 샘플과 겹치지 않도록 하여 데이터 泄露를 방지한다.
• 연속적인 점수를 이진 예측으로 변환하기 위해 임계값 기반 분류기(예: 점수 > 0.5)를 적용한다.
• 전역 및 국소 임베딩 학습 전략을 모든 관계에 걸쳐 비교하기 위해 WN11 지식 그래프에서 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 전역으로 학습된 신경 임베딩가 관계별로 별도로 학습된 것과 비교해 링크 예측에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 표준 평균 순위 기반 지표가 이진 분류 설정에서 F-measure, AUC와 같은 이진 분류 지표와 비교해 링크 예측 품질 평가에 어떻게 영향을 미치는가?
• RQ3 링크 예측 벤치마크에서 부정 샘플 생성과 데이터 泄露의 영향은 무엇인가?
• RQ4 특히 낮은 연결성 그래프에서 전역 학습 접근 방식은 국소 학습 대비 얼마나 확장 가능한가?
• RQ5 지식 그래프 임베딩 연구에서 평가 파이프라인을 어떻게 더 투명하고 재현 가능하게 만들 수 있는가?

주요 결과

• WN11 데이터셋에서 전역으로 학습된 임베딩가 모든 관계에 대해 평균 F-measure 약 0.8을 달성하여 국소로 학습된 임베딩와 유사한 성능을 보였다.
• 전역 접근 방식은 더 확장 가능하며, 관계당 하나의 모델이 아닌 전체 관계에 대해 하나의 신경 모델만 필요로 한다.
• 평균 순위 기반 지표는 이진 분류 작업에서 오해의 소지가 있으며, 잘못된 임계값 설정으로 인해 실질적인 구현에서 높은 성능을 내는 모델도 낮게 평가될 수 있다.
• 부정 샘플 생성 과정에서는 테스트 참 샘플을 고려하여 정보 泄露를 방지하고 분류기의 견고성을 확보해야 한다.
• 엔티티의 연결성이 낮을 경우 전역 학습 접근 방식은 성능이 떨어지며, 들어오는 또는 나가는 링크가 적은 엔티티를 적절히 임베딩하지 못할 수 있다.
• 저자들은 지식 그래프 임베딩 벤치마킹의 투명성, 재현 가능성, 표준화를 촉진하기 위해 오픈소스 평가 파이프라인을 공개하였다.