[논문 리뷰] Limitations and Alternatives for the Evaluation of Large-scale Link Prediction

Dario García-Gasulla, Ayguadé Eduard외 2명|arXiv (Cornell University)|2016. 11. 02.

Advanced Graph Neural Networks참고 문헌 33인용 수 5

한 줄 요약

이 논문은 링크 예측에서 클래스 불균형 문제를 다루기 위해 제안한 제약된 AUPR(가중치 없는 AUPR, CAUPR) 메트릭이다. 이는 수많은 비에지(non-edges)로 인해 가짜 양성 결과가 지배적인 대규모 링크 예측 환경에서 발생한다. 그래프 크기에 기반해 보수적인 가짜 양성 결과의 임계값을 설정함으로써, 특히 스케일 프리(scale-free), 대규모 그래프에서 표준 AUPR보다 더 현실적이고 해석 가능한 성능 측정 방법을 제공한다. 실제 데이터셋인 DBpedia(1700만 개의 정점)에서 최고 성능을 내는 알고리즘을 식별하는 데 있어 CAUPR는 경험적으로 AUPR를 능가한다.

ABSTRACT

Link prediction, the problem of identifying missing links among a set of inter-related data entities, is a popular field of research due to its application to graph-like domains. Producing consistent evaluations of the performance of the many link prediction algorithms being proposed can be challenging due to variable graph properties, such as size and density. In this paper we first discuss traditional data mining solutions which are applicable to link prediction evaluation, arguing about their capacity for producing faithful and useful evaluations. We also introduce an innovative modification to a traditional evaluation methodology with the goal of adapting it to the problem of evaluating link prediction algorithms when applied to large graphs, by tackling the problem of class imbalance. We empirically evaluate the proposed methodology and, building on these findings, make a case for its importance on the evaluation of large-scale graph processing.

연구 동기 및 목표

• 기존 평가 메트릭이 실패하는 대규모, 극도로 불균형한 그래프에서 링크 예측 알고리즘 평가의 과제를 해결한다.
• 10겹 교차검증 및 전체 ROC/AUC 평가 방식의 한계를 규명한다.
• 도메인에 관계없이 그래프 크기에 민감한 성능 메트릭을 제안하여, 가짜 양성 결과에 대한 실질적인 수용 가능 수준을 반영한다.
• 표준 AUPR가 가짜 양성 결과 비율이 제어되지 않은 채로 대규모 링크 예측에서 오해의 소지가 있음을 경험적으로 입증한다.
• 현대의 대규모 그래프 마이닝 응용에 적합한 확장성 있고 계산 효율적인 평가 프레임워크를 제공한다.

제안 방법

• 그래프 내 총 간선 수에 따라 가짜 양성 결과의 상한선을 설정함으로써, 정밀도-재현율 곡선의 면적(AUPR)을 제약한 CAUPR를 도입한다.
• 그래프 크기에 기반해 실질적인 가능성을 반영하는 보수적인 가짜 양성 결과 수용 임계값을 정의한다.
• 10겹 교차검증을 대체해 대규모 그래프에서 안정적인 10% 무작위 분할을 단 한 번만 수행함으로써 기존 평가 방법론을 개선하고, 계산 비용을 약 10배 감소시킨다.
• 정밀도-재현율 곡선을 주요 평가 도구로 사용하며, 불균형한 설정에서 ROC 곡선보다 더 유의미한 정보를 제공한다고 주장한다.
• DBpedia(1700만 개의 정점 포함)를 포함한 여러 실제 그래프에서 세 가지 링크 예측 알고리즘에 대해 CAUPR 메트릭을 적용하여 현실적인 제약 조건 하에서 성능를 비교한다.
• 10만 개에서 1700만 개의 정점까지 다양한 크기의 그래프에서 제안된 방법의 강건성과 확장성을 검증한다. 결과적으로 일관된 행동과 뛰어난 확장성을 보였다.

실험 결과

연구 질문

• RQ1 대규모 그래프에서 극도로 불균형한 클래스 분포가 표준 평가 메트릭인 AUPR 및 AUC의 신뢰성에 어떤 영향을 미치는가?
• RQ2 10겹 교차검증은 대규모 그래프에서 여전히 필수적이거나 유익한가? 또는 더 단순하고 효율적인 분할 전략으로 대체 가능한가?
• RQ3 제약된 AUPR 메트릭(CAUPR)은 대규모 링크 예측에서 표준 AUPR보다 더 현실적이고 해석 가능한 성능 측정 방법을 제공할 수 있는가?
• RQ4 다양한 링크 예측 알고리즘이 대규모 실제 그래프에서 CAUPR와 AUPR로 평가되었을 때 순위가 어떻게 달라지는가?
• RQ5 제안된 평가 방법론은 실제로 효과적인 링크 예측 알고리즘을 더 잘 식별하는 데 기여하는가?

주요 결과

• CAUPR는 그래프 내 총 간선 수에 따라 가짜 양성 결과의 수를 제약함으로써 표준 AUPR보다 더 현실적인 성능 평가를 제공한다.
• 10겹 교차검증을 단 한 번의 10% 무작위 분할로 대체함으로써, 10만 개 이상의 정점을 가진 그래프에서 평가가 안정적으로 이루어지도록 계산 비용을 10배 감소시켰다.
• DBpedia 그래프(1700만 개의 정점)에서 AUPR와 CAUPR는 세 가지 테스트된 링크 예측 알고리즘의 순위를 서로 다르게 평가했으며, 이는 표준 AUPR가 대규모 환경에서 오해의 소지가 있음을 입증한다.
• CAUPR는 그래프 크기와 조밀도에 적응하여, AUPR가 몇 개의 고재현율, 저정밀도 예측에 의해 지배되는 극도로 불균형한 그래프에서도 의미 있는 성능 측정을 유지한다.
• 성능이 열악할 경우 CAUPR는 0이 될 수 있고, 성능이 우수할 경우 AUPR와 동일해지므로 실질적인 가능성을 반영하는 자연스러운 상한선과 하한선을 제공한다.
• 경험적 결과로는 AUPR와 CAUPR 간의 분산이 그래프 크기가 커질수록 증가함을 확인했으며, 이는 향후 대규모 그래프 마이닝에서 제약 평가의 중요성이 점점 더 커지고 있음을 시사한다.