[논문 리뷰] Interpretable and Fair Comparison of Link Prediction or Entity Alignment Methods with Adjusted Mean Rank

Max Berrendorf, Evgeniy Faerman외 2명|arXiv (Cornell University)|2020. 02. 17.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 다양한 데이터셋과 훈련/테스트 분할 간 링크 예측 및 엔티티 정렬 방법의 공정하고 해석 가능하며 비교 가능한 평가를 가능하게 하기 위해 조정된 평균 순위(AMR)를 제안한다. 순위 점수의 데이터셋 특화 편향을 보정함으로써 AMR은 오해를 불러일으키는 비교를 제거하고 모델 성능 평가를 위한 통합 지표를 제공한다.

ABSTRACT

In this work, we take a closer look at the evaluation of two families of methods for enriching information from knowledge graphs: Link Prediction and Entity Alignment. In the current experimental setting, multiple different scores are employed to assess different aspects of model performance. We analyze the informative value of these evaluation measures and identify several shortcomings. In particular, we demonstrate that all existing scores can hardly be used to compare results across different datasets. Moreover, this problem may also arise when comparing different train/test splits for the same dataset. We show that this leads to various problems in the interpretation of results, which may support misleading conclusions. Therefore, we propose a different evaluation and demonstrate empirically how this helps for fair, comparable and interpretable assessment of model performance.

연구 동기 및 목표

• 링크 예측 및 엔티티 정렬을 위한 기존 평가 지표의 해석 가능성과 공정성 부족 문제를 해결한다.
• 기본적으로 존재하는 편향으로 인해 현재의 점수는 서로 다른 데이터셋이나 훈련/테스트 분할 간에 비교할 수 없다는 점을 규명한다.
• 다양한 실험 설정 간 신뢰할 수 있는 모델 비교를 가능하게 하는 표준화된 평가 프레임워크를 제안한다.
• 편향된 평가 점수로 인한 오해를 제거함으로써 연구 결론의 신뢰성을 향상시킨다.

제안 방법

• 데이터셋 특화 순위 편향을 보정하기 위한 정규화된 평가 지표로 조정된 평균 순위(AMR)를 도입한다.
• 각 데이터셋에서 기준 모델의 평균과 표준편차를 사용하여 원시 평균 순위 점수에 z-점수 정규화 기법을 적용한다.
• 모델 성능이 다양한 데이터셋 간에 일관된 기준에 기반하여 평가되도록 보장함으로써 데이터셋 간 비교를 가능하게 한다.
• 다양한 데이터셋 스케일로 인한 왜곡을 제거하면서도 모델 향상에 민감성을 유지하는지 확인한다.
• 링크 예측 및 엔티티 정렬을 위한 다수의 벤치마크 데이터셋에서 방법을 검증하여 일관된 성능 순위를 보여준다.
• 실증 분석을 통해 표준 지표인 평균 역수 순위(MRR) 및 평균 순위(MR)와의 비교를 통해 AMR의 우수성을 부각시킨다.

실험 결과

연구 질문

• RQ1 기존 평가 지표는 링크 예측 및 엔티티 정렬에서 다양한 데이터셋 간 공정한 비교를 어느 정도 실패하는가?
• RQ2 데이터셋 크기 및 구조의 변동은 MRR 및 MR와 같은 표준 순위 점수의 신뢰성에 어떻게 영향을 미치는가?
• RQ3 다양한 데이터셋과 분할 간 일관되고 해석 가능한 모델 비교를 보장하기 위해 정규화된 평가 지표를 설계할 수 있는가?
• RQ4 제안된 조정된 평균 순위(AMR)는 표준 지표에 비해 모델 성능 평가의 해석 가능성과 공정성에 어떻게 향상되는가?

주요 결과

• 평균 순위 및 MRR와 같은 표준 평가 지표는 본질적인 스케일 차이로 인해 서로 다른 데이터셋 간에 비교할 수 없다.
• 동일한 모델이 데이터셋 특화 순위 편향로 인해 다른 데이터셋에서는 더 잘 수행된 것처럼 보일 수 있으며, 이는 실제 성능 차이가 아닌 편향 때문이기 때문이다.
• 제안된 조정된 평균 순위(AMR)는 데이터셋 간 성능 점수를 성공적으로 정규화하여 공정하고 해석 가능한 비교를 가능하게 한다.
• AMR은 데이터셋에 의존하는 왜곡을 제거함으로써 잘못된 결론의 위험을 줄인다.
• 실증 결과에 따르면 AMR은 다양한 실험 설정에서 일관된 성능 순위를 유지하면서도 모델 향상에 민감성을 유지한다.
• AMR의 사용은 특히 다중 데이터셋 벤치마크 시나리오에서 더 신뢰성 있고 투명한 모델 평가로 이어진다.