[논문 리뷰] Discriminating abilities of threshold-free evaluation metrics in link prediction

Tao Zhou|arXiv (Cornell University)|2022. 05. 10.

Bioinformatics and Genomic Networks인용 수 4

한 줄 요약

이 논문은 노이즈와 예측 가능성 수준을 조절할 수 있는 조정 가능한 토이 모델을 사용하여 임계값이 없는 메트릭의 분류 능력을 평가하기 위한 프레임워크를 제안한다. AUC와 AUPR는 균형 정밀도(BP)보다 유의미하게 뛰어나며, AUC는 AUPR보다 略적으로 더 높은 분류 능력을 보이며, 이는 AUC와 AUPR를 함께 사용하고 BP만을 사용하는 것은 잘못된 평가를 초래할 수 있음을 시사한다.

ABSTRACT

Link prediction is a paradigmatic and challenging problem in network science, which attempts to uncover missing links or predict future links, based on known topology. A fundamental but still unsolved issue is how to choose proper metrics to fairly evaluate prediction algorithms. The area under the receiver operating characteristic curve (AUC) and the balanced precision (BP) are the two most popular metrics in early studies, while their effectiveness is recently under debate. At the same time, the area under the precision-recall curve (AUPR) becomes increasingly popular, especially in biological studies. Based on a toy model with tunable noise and predictability, we propose a method to measure the discriminating abilities of any given metric. We apply this method to the above three threshold-free metrics, showing that AUC and AUPR are remarkably more discriminating than BP, and AUC is slightly more discriminating than AUPR. The result suggests that it is better to simultaneously use AUC and AUPR in evaluating link prediction algorithms, at the same time, it warns us that the evaluation based only on BP may be unauthentic. This article provides a starting point towards a comprehensive picture about effectiveness of evaluation metrics for link prediction and other classification problems.

연구 동기 및 목표

• 링크 예측 알고리즘에 적절한 평가 메트릭을 선택하는 데 있어 해결되지 않은 과제를 다루기 위해.
• 통제된 조건 하에서 널리 사용되는 임계값이 없는 메트릭—AUC, AUPR, BP—의 분류 능력을 평가하기 위해.
• 네트워크 예측에서 진정한 링크와 가짜 링크를 효과적으로 구분하는 메트릭의 능력을 체계적으로 측정하는 방법을 개발하기 위해.
• 공정하고 신뢰할 수 있는 링크 예측 성능 평가를 보장하기 위해 메트릭 선택에 대한 경험적 지침을 제공하기 위해.

제안 방법

• 노이즈 수준과 예측 가능성 수준을 제어할 수 있는 조정 가능한 토이 모델을 구축하여 네트워크를 시뮬레이션한다.
• 기본 데이터로 알려진 진짜 링크를 포함한 합성 링크 예측 작업을 생성하여 통제된 평가를 가능하게 한다.
• 각 메트릭의 분류 능력을 예측 가능성과 노이즈 변화에 대한 민감도를 측정하여 정량화한다.
• 다양한 파라미터 설정에서 메트릭을 평가하여 일관성과 분류 능력을 분석한다.
• 통계 분석을 통해 AUC, AUPR, BP의 분산과 민감도를 모델의 파라미터 공간 전반에서 비교한다.
• 고품질 예측과 저품질 예측을 구분하는 데서 메트릭 성능을 직접 비교할 수 있는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 AUC, AUPR, BP는 고품질과 저품질 링크 예측 결과를 구분하는 데 얼마나 효과적인가?
• RQ2 이 메트릭들의 분류 능력은 네트워크 구조의 노이즈 수준과 예측 가능성 수준에 따라 달라지는가?
• RQ3 균형 정밀도(BP)는 링크 예측 성능 평가에 신뢰할 수 있는 메트릭인가, 아니면 유의미한 성능 차이를 구분하지 못하는가?
• RQ4 예측 가능성 변화에 대한 민감도 측면에서 AUC는 AUPR에 비해 어떻게 성능을 보이는가?
• RQ5 임계값이 없는 평가 메트릭의 분류 능력을 측정할 수 있는 체계적인 방법을 개발할 수 있는가?

주요 결과

• AUC는 세 메트릭 중에서 가장 높은 분류 능력을 보이며, AUPR와 BP를 모두 능가한다.
• AUPR는 BP보다 유의미하게 높은 분류 능력을 보이며, BP가 의미 있는 성능 차이에 민감하지 않음을 시사한다.
• BP는 열악한 분류 능력을 보이며, BP만으로 평가하는 것은 위조되거나 오해를 낳을 수 있음을 시사한다.
• 제안된 방법은 네트워크 예측 가능성과 노이즈 변화에 대한 메트릭 민감도를 성공적으로 정량화하고 비교할 수 있다.
• AUC와 AUPR는 BP만을 사용하는 것보다 더 강력하고 신뢰할 수 있는 성능 평가를 제공하므로, 평가 시 함께 사용하는 것이 바람직하다.