[논문 리뷰] Evaluation of binary classifiers for asymptotically dependent and independent extremes

J. F. Legrand, Philippe Naveau외 1명|arXiv (Cornell University)|2021. 12. 27.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 극단가치 설정에서 이진 분류기 평가를 위한 새로운 위험 함수를 제안하며, 희귀 사고 예측에서의 불균형 문제를 해결한다. 사고 발생 확률에 기반해 오분류 비용을 재가중함으로써, 분류기 간 공정한 비교를 보장하며, 다변량 정규변동 프레임워크에서 이론적 일致성과 실증적 검증을 통해 강수량 유출 예측에 적용된다.

ABSTRACT

Machine learning classification methods usually assume that all possible classes are sufficiently present within the training set. Due to their inherent rarities, extreme events are always under-represented and classifiers tailored for predicting extremes need to be carefully designed to handle this under-representation. In this paper, we address the question of how to assess and compare classifiers with respect to their capacity to capture extreme occurrences. This is also related to the topic of scoring rules used in forecasting literature. In this context, we propose and study a risk function adapted to extremal classifiers. The inferential properties of our empirical risk estimator are derived under the framework of multivariate regular variation and hidden regular variation. A simulation study compares different classifiers and indicates their performance with respect to our risk function. To conclude, we apply our framework to the analysis of extreme river discharges in the Danube river basin. The application compares different predictive algorithms and test their capacity at forecasting river discharges from other river stations.

연구 동기 및 목표

• 표준 위험 함수가 항상 '음성' 예측을 선호하는 바람에 희귀 극단사건에 대한 이진 분류기 평가에 어려움이 존재하는 문제를 해결한다.
• 과도하게 낙관적 또는 과도하게 비관적인 분류기 모두를 공정하게 처벌하는 위험 함수를 개발하여 비현실적인 해법에 대한 편향을 방지한다.
• 다변량 정규변동 및 숨겨진 정규변동 프레임워크 하에서 위험 함수의 이론적 일치성을 확립한다.
• 모의실험과 다뉴브 강 유역의 극단 강수량에 대한 실제 적용을 통해 방법을 실증적으로 검증한다.
• 새로운 위험 함수에 최적화된 선형 분류기를 통해 극단적 행동의 주요 예측 변수를 규명한다.

제안 방법

• 사고 발생 확률과 예측 확률의 합집합으로 오분류 비용을 정규화하는 가중 손실 함수 $ l_u(g;(m{x},y)) = \frac{1}{\mathbb{P}(Y^{(u)}=1 \text{ 또는 } g(\bm{X};u)=1)} \mathds{1}\{g(\bm{x};u)\neq y\} $ 를 제안한다.
• 관련된 위험 함수 $ R^{(u)}(g) = \mathbb{E}[l_u(g;(m{X},Y^{(u)}))] $ 를 정의하며, 이는 [0,1] 범위에 속하며 '항상 음성' 및 '항상 양성' 분류기 모두에서 단위값을 가진다.
• 다변량 정규변동 및 숨겨진 정규변동 하에서 경험적 위험 추정기의 점근적 이론을 수립하여, 그 수렴이 가우시안 과정으로 약수렴함을 증명한다.
• 경험 과정 이론과 프레임워킹 엔트로피를 활용해, 적절한 모멘트 및 연속성 조건 하에서 위험 추정기의 타이트성과 약수렴을 검증한다.
• 선형 분류기 $ b_{\bm{\theta}}(\bm{x},h) = \mathds{1}\{\bm{\theta}^T\bm{x}>1 \text{ 또는 } h>1\} $ 에 이 프레임워크를 적용하여, 위험 함수 최소화가 극단적 의존성 구조의 일致된 추정으로 이어짐을 보여준다.
• 스토케스틱 프로세스에 대해 기능적 델타 방법과 린데베르크 유사 조건을 활용해 경험적 위험 추정기의 점근적 정규성을 도출한다.

실험 결과

연구 질문

• RQ1 희귀한 양성 클래스가 존재하는 극단사건에 대한 이진 분류기 평가를 위해 공정한 위험 함수를 어떻게 구성할 수 있는가?
• RQ2 다변량 정규변동 및 숨겨진 정규변동 하에서 경험적 위험 추정기의 점근적 성질은 무엇인가?
• RQ3 제안된 위험 함수는 고차원 설정에서 극단적 행동의 가장 관련성이 높은 예측 변수를 일관되게 식별할 수 있는가?
• RQ4 기존의 지표인 임계 성공 지수와 비교해 새로운 위험 함수는 극단사건 예측에서 어떻게 성능을 발휘하는가?
• RQ5 실제 응용, 예를 들어 강수량 유출 예측과 같은 분야에서 이 프레임워크는 예측 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 위험 함수 $ R^{(u)}(g) $ 는 '항상 음성' 및 '항상 양성' 분류기 모두가 위험도 1을 얻게 하여 공정한 비교를 위한 명확한 기준을 제공한다.
• 다변량 정규변동 하에서 경험적 위험 추정기는 약수렴하여 가우시안 과정으로 수렴하며, 수렴 속도는 尾지수와 차원에 따라 달라진다.
• 선형 분류기의 경우, 위험 함수 최소화가 극단적 의존성 구조의 일관된 추정으로 이어지고, 영향력이 큰 예측 변수를 식별한다.
• 다뉴브 강 강수량 유출 응용 사례에서, 이 프레임워크는 여러 예측 알고리즘 간의 비교를 성공적으로 수행했으며 극단사건에 기여하는 주요 변수를 규명했다.
• 모의 실험을 통해 새로운 위험 함수가 분류기의 진정한 극단 예측 능력에 따라 순위를 정확히 매기는 데 효과적이며, 낙관적인 모델에 대한 편향을 피함을 확인했다.
• 이론적 분석을 통해 위험 추정기는 점근적으로 정규분포를 따르며, 수렴 속도는 $ \mathbb{P}(H>u_n) \to 0 $ 이 되는 조건, 즉 $ u_n \to \infty $ 일 때에 의해 결정됨을 확인했다.