[논문 리뷰] On the Ambiguity of Rank-Based Evaluation of Entity Alignment or Link Prediction Methods

Max Berrendorf, Evgeniy Faerman외 2명|arXiv (Cornell University)|2020. 02. 17.

Advanced Graph Neural Networks참고 문헌 64인용 수 5

한 줄 요약

이 논문은 지식 그래프의 엔티티 정렬 및 링크 예측 작업에서 순위 기반 평가의 심각한 결함을 규명하며, 표준 메트릭인 평균 순위(MR)와 Hits@K가 테스트 세트 크기에 민감하여 공정한 다중 데이터셋 비교를 불가능하게 한다고 밝힌다. 저자들은 우연성 성능을 보정하는 정규화된 점수인 조정된 평균 순위 지수(AMRI)를 제안하며, 실증적 평가를 통해 AMRI가 다양한 데이터셋과 테스트 크기 간에 일관되고 해석 가능하며 비교 가능한 모델 평가를 가능하게 한다고 입증한다.

ABSTRACT

In this work, we take a closer look at the evaluation of two families of methods for enriching information from knowledge graphs: Link Prediction and Entity Alignment. In the current experimental setting, multiple different scores are employed to assess different aspects of model performance. We analyze the informativeness of these evaluation measures and identify several shortcomings. In particular, we demonstrate that all existing scores can hardly be used to compare results across different datasets. Moreover, we demonstrate that varying size of the test size automatically has impact on the performance of the same model based on commonly used metrics for the Entity Alignment task. We show that this leads to various problems in the interpretation of results, which may support misleading conclusions. Therefore, we propose adjustments to the evaluation and demonstrate empirically how this supports a fair, comparable, and interpretable assessment of model performance. Our code is available at https://github.com/mberr/rank-based-evaluation.

연구 동기 및 목표

• 지식 그래프에서 엔티티 정렬(EA) 및 링크 예측(LP) 작업에 대한 현재 순위 기반 평가 프로토콜의 근본적인 결함을 규명하는 것.
• 표준 메트릭인 평균 순위(MR)와 Hits@K가 테스트 세트 크기에 민감하여 모델 간 성능 비교가 오해의 소지가 있음을 보여주는 것.
• 기존 평가 점수가 서로 다른 데이터셋 또는 학습 제약 조건 간에 일관된 비교 근거를 제공하지 못함을 보여주는 것.
• 우연성 성능을 보정하여 공정하고 더 해석 가능한 비교를 가능하게 하는 개선된 평가 메트릭인 조정된 평균 순위 지수(AMRI)를 제안하는 것.
• AMRI가 다양한 테스트 세트 크기와 데이터셋에서 안정적이고 일관되며 의미 있는 모델 성능 평가를 제공함을 실증적으로 검증하는 것.

제안 방법

• 우연 배정에 따른 기대 순위를 고려하여 순위 점수를 정규화하는 새로운 평가 메트릭인 조정된 평균 순위 지수(AMRI)를 제안한다.
• 각 테스트 인스턴스의 후보 엔티티 수에 따라 우연 배정 시 기대 순위를 정의하며, 데이터셋 고유의 특성에 맞게 조정한다.
• 필터링 평가 프로토콜을 사용하여 AMRI 메트릭을 엔티티 정렬 및 링크 예측 작업에 적용함으로써 표준 기준과의 일관성을 확보한다.
• 학습 데이터의 양을 다양하게 조절하고, 다양한 크기의 테스트 세트에서 성능을 평가함으로써 메트릭의 안정성을 평가하기 위해 모델(GCN-Align 등)을 훈련한다.
• 노드의 차수와 임bedding 유사도 간의 상관관계를 분석하기 위해 통계적 검증(Spearman 상관계수 등)을 수행하여 모델 편향에 대한 가설을 뒷받침한다.
• 다양한 데이터셋(WN18RR, FB15k-237)과 모델(DistMult, ConvE, TransE 등)을 대상으로 AMRI를 표준 메트릭(MR, Hits@K)과 비교하여 안정성과 해석 가능성의 우수성을 검증한다.

실험 결과

연구 질문

• RQ1 표준 순위 기반 평가 메트릭인 평균 순위와 Hits@K가 서로 다른 데이터셋 또는 테스트 세트 크기 간에 모델 비교 시 일관성 없고 오해의 소지가 있는 결과를 낳는 이유는 무엇인가?
• RQ2 테스트 세트 크기가 엔티티 정렬 및 링크 예측 작업에서 동일한 모델의 표준 평가 메트릭 성능에 어떤 영향을 미치는가?
• RQ3 기존 평가 메트릭이 우연성 성능을 충분히 고려하지 않아 편향되거나 비교 불가능한 결과를 초래하는 정도는 어느 정도인가?
• RQ4 다양한 테스트 세트 크기와 후보 집합 크기로 인해 발생하는 편향을 보정할 수 있는 정규화된 평가 메트릭을 설계할 수 있는가?
• RQ5 제안된 AMRI 메트릭은 지식 그래프 보완 및 정렬 작업에서 모델 비교의 해석 가능성과 공정성을 어떻게 향상시키는가?

주요 결과

• 표준 메트릭인 평균 순위(MR)와 Hits@1은 모델이 그대로일 때도 테스트 세트 크기가 증가함에 따라 강하게 거의 선형적으로 증가하며, 평가에 근본적인 편향이 있음을 시사한다.
• Hits@1 점수 역시 테스트 세트 크기에 민감하며, 테스트 세트가 커질수록 성능이 악화되는 것처럼 보일 수 있지만, 실제로는 모델의 예측 능력이 그대로 유지되는 경우가 있다.
• 제안된 조정된 평균 순위 지수(AMRI)는 테스트 세트 크기에 거의 민감하지 않으며, 다양한 평가 설정에서도 일관된 점수를 유지하여 공정한 비교를 가능하게 한다.
• DBP15k(JAPE) 데이터셋에서 0개의 정렬을 가진 모델조차도 랜덤 베이스라인을 초월한다(AMRI ≈ -0.0025%), 이는 GCN-Align의 메시지 전파가 초점 기반 유도 편향을 유도하여 무 supervision 상태에서도 성능 향상을 이룬다는 것을 시사한다.
• 노드의 차수와 임베딩 노름 사이에 유의미한 음의 상관관계(ρ ≈ -0.041, p ≈ 9.22×10⁻¹⁷)가 존재하며, 이는 고차수 노드일수록 유사도가 높다는 것을 의미한다. 이는 GCN-Align의 유도 편향을 설명한다.
• 다양한 데이터셋 간 비교에서 AMRI는 WN18RR에서 FB15k-237보다 모델 성능이 일관되게 열 劣하다는 것을 드러내며, 이는 단지 데이터셋 크기 때문이 아니라 희박성 또는 관계 복잡성의 영향일 가능성이 높다. 이와 같은 요소들은 표준 메트릭이 가려내는 바이다.