[논문 리뷰] EPP: interpretable score of model predictive power

Alicja Gosiewska, Mateusz Bakala외 3명|arXiv (Cornell University)|2019. 08. 24.

Machine Learning and Data Classification참고 문헌 8인용 수 4

한 줄 요약

이 논문은 기계학습 모델 성능 평가를 위한 새로운 해석 가능한 스코링 시스템인 EPP(Elo-based Predictive Power)를 소개한다. EPP는 성능 차이의 확률적 해석, 직접적인 다중 데이터셋 간 비교, 교차검증에서의 안정성 평가를 가능하게 하여 기존의 AUC나 RMSE와 같은 전통적 지표에 비해 강력한 대안을 제공한다.

ABSTRACT

The most important part of model selection and hyperparameter tuning is the evaluation of model performance. The most popular measures, such as AUC, F1, ACC for binary classification, or RMSE, MAD for regression, or cross-entropy for multilabel classification share two common weaknesses. First is, that they are not on an interval scale. It means that the difference in performance for the two models has no direct interpretation. It makes no sense to compare such differences between datasets. Second is, that for k-fold cross-validation, the model performance is in most cases calculated as an average performance from particular folds, which neglects the information how stable is the performance for different folds. In this talk, we introduce a new EPP rating system for predictive models. We also demonstrate numerous advantages for this system, First, differences in EPP scores have probabilistic interpretation. Based on it we can assess the probability that one model will achieve better performance than another. Second, EPP scores can be directly compared between datasets. Third, they can be used for navigated hyperparameter tuning and model selection. Forth, we can create embeddings for datasets based on EPP scores.

연구 동기 및 목표

• 기계학습 모델 평가에서 해석 가능한 간격 척도 성능 지표의 부족을 해결한다.
• AUC, F1, RMSE와 같은 일반적인 지표들이 확률적 해석이 부족하고 데이터셋 간에 의미 있는 비교가 불가능한 한계를 극복한다.
• 교차검증 폴드 간 모델 성능의 안정성을 평가할 수 있는 방법을 제공한다.
• 추가 탐색을 통한 성능 향상 가능성 확률을 정량화하여 지능적인 하이퍼파ram터 튜닝 탐색을 가능하게 한다.
• 후속 모델 선택 및 분석을 위한 데이터셋 임베딩 생성을 지원한다.

제안 방법

• 원래 게임에서 플레이어 순위를 매기기 위해 사용된 에이로 등수 체계를 기계학습 모델의 예측 성능 스코링 프레임워크로 응용한다.
• 다양한 훈련/테스트 분할에서의 모델 성능 간 쌍별 비교를 기반으로 EPP 스코어를 정의하며, 각 비교를 승리하는 모델이 더 우수한 성능을 보인 '경기'로 간주한다.
• 모델 간 성능 차이에서 유도된 기대 결과를 사용하여 수정된 에이로 업데이트 규칙을 적용하여 EPP 스코어를 계산한다.
• 다양한 데이터셋과 하이퍼파ram터 설정 간의 모델 비교에 EPP 시스템을 적용하여 일관되고 해석 가능한 척도를 생성한다.
• 차원 축소(예: 주성분 분석)를 통해 EPP 스코어를 활용해 데이터셋의 임베딩을 생성하며, 데이터셋 간의 구조적 관계와 모델 행동 패턴을 드러낸다.
• EPP 스코어를 하이퍼파라미터 튜닝 워크플로우에 통합하여 향후 성능 향상 가능성의 확률을 추정하고, 지능적인 탐색 종료 및 탐색 경로 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델 간 및 데이터셋 간 성능 차이에 대한 확률적 해석을 제공할 수 있는 성능 지표를 개발할 수 있는가?
• RQ2 EPP 스코어는 서로 다른 데이터 스케일과 레이블 분포를 가진 데이터셋 간에 의미 있는 성능 비교를 어느 정도 가능하게 하는가?
• RQ3 EPP 스코어를 활용해 k-폴드 교차검증 폴드 간 모델 성능의 안정성을 어떻게 평가할 수 있는가?
• RQ4 EPP 스코어를 활용해 향후 향상 가능성의 가능성을 추정함으로써 탐색 기반 하이퍼파라미터 튜닝을 지원할 수 있는가?
• RQ5 EPP 기반 임베딩은 모델 행동 유사성 또는 난이도 유사성과 같은 데이터셋 간 의미 있는 구조적 관계를 드러낼 수 있는가?

주요 결과

• EPP 스코어는 성능 차이에 대한 확률적 해석을 제공한다: 두 EPP 스코어 간의 차이를 통해 한 모델이 다른 모델보다 성능이 뛰어날 가능성의 확률을 추정할 수 있다.
• EPP 스코어는 데이터셋 간 직접 비교가 가능하여, AUC나 RMSE와 같은 전통적 지표에서의 비호환성 문제를 해결한다.
• EPP 스코어는 교차검증에서의 성능 불안정성을 드러낸다: 다양한 폴드에서 성능이 크게 변동하는 모델은 낮은 EPP 스코어를 보이며, 이는 순위가 더 신뢰할 수 없음을 시사한다.
• EPP는 탐색 기반 하이퍼파라미터 튜닝을 가능하게 한다: 다양한 하이퍼파라미터 설정에서의 EPP 추세를 분석함으로써 잠재적으로 유망한 영역을 식별하고, 향후 성능 향상 가능성의 확률을 추정할 수 있다.
• EPP 기반 주성분 분석(PCA) 이중도는 데이터셋 간의 구조적 관계를 드러낸다 — 예를 들어, 데이터셋 334는 다른 데이터셋과는 반대 방향의 모델 순위 패턴을 보이며 고유한 특성을 지닌 것으로 나타났다.
• 랜덤 포레스트와 GBM 모델은 대부분의 데이터셋에서 일관되게 양의 EPP 스코어를 기록하여 평균 모델보다 일반적으로 뛰어난 성능을 보였고, k-NN의 성능은 데이터셋에 따라 상당히 다름을 보였다.