[논문 리뷰] Optimal Decision-Theoretic Classification Using Non-Decomposable Performance Metrics

Nagarajan Natarajan, Oluwasanmi Koyejo외 2명|arXiv (Cornell University)|2015. 05. 07.

Imbalanced Data Classification Techniques참고 문헌 16인용 수 3

한 줄 요약

이 논문은 F1 및 Jaccard와 같은 분해 불가능한 지표에 대해 의사결정 이론적 분류의 최적성을 달성하기 위해, 긍정 클래스의 조건부 확률에 대해 부호가 붙은 임계값 설정이 필요하며, 이는 지표가 TP 단조성 조건을 만족할 경우에 한해 성립함을 규명한다. 저자들은 최적 임계값을 계산하기 위해 효율적인 O(n³) 및 O(n²) 알고리즘을 제안하여 계산 복잡도를 지수적 시간에서 다항식 시간으로 크게 감소시키며, 일致성과 함께 벤치마크 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

We provide a general theoretical analysis of expected out-of-sample utility, also referred to as decision-theoretic classification, for non-decomposable binary classification metrics such as F-measure and Jaccard coefficient. Our key result is that the expected out-of-sample utility for many performance metrics is provably optimized by a classifier which is equivalent to a signed thresholding of the conditional probability of the positive class. Our analysis bridges a gap in the literature on binary classification, revealed in light of recent results for non-decomposable metrics in population utility maximization style classification. Our results identify checkable properties of a performance metric which are sufficient to guarantee a probability ranking principle. We propose consistent estimators for optimal expected out-of-sample classification. As a consequence of the probability ranking principle, computational requirements can be reduced from exponential to cubic complexity in the general case, and further reduced to quadratic complexity in special cases. We provide empirical results on simulated and benchmark datasets evaluating the performance of the proposed algorithms for decision-theoretic classification and comparing them to baseline and state-of-the-art methods in population utility maximization for non-decomposable metrics.

연구 동기 및 목표

• 비분해 가능 지표에 대해 경험적 유틸리티 최적화(EUM)와 의사결정 이론적 분석(DTA) 간 이론적 격차를 해소하기 위해.
• 최적 DTA 분류기가 긍정 클래스의 조건부 확률에 대해 부호가 붙은 임계값 설정 형태를 취할 수 있는 충분한 조건을 규명하기 위해.
• DTA 기반 최적의 외부 샘플 분류를 위한 계산적으로 효율적이고 일관된 추정기 개발하기 위해.
• 확률 순서 원칙을 활용해 DTA 기반 분류의 계산 복잡도를 지수적 시간에서 세제곱 또는 제곱 시간으로 감소시킬 수 있음을 보여주기 위해.

제안 방법

• 지표가 확률 순서 원칙(PRP)을 만족하기 위한 충분조건으로 TP 단조성 성질을 도입한다.
• Fβ, Jaccard 및 선형 분수 가족과 같은 지표들이 이 조건을 만족함을 증명하여, 최적 분류기가 긍정 클래스의 조건부 확률에 대한 부호가 붙은 임계값 함수임을 보장한다.
• 일반적인 지표에 대해 O(n³) 복잡도를 가지는 알고리즘 1과 Fβ 및 Jaccard와 같은 특수 케이스에 대해 O(n²) 복잡도를 가지는 알고리즘 2를 개발한다.
• 최적 의사결정 규칙의 탐색 공간을 줄이기 위해 확률 순서 원칙을 활용하여 모든 가능한 레이블링에 대한 브루트 포스 탐색을 피한다.
• DTA 하에서 인구 수준의 유틸리티 최적화를 활용해 최적 임계값에 대한 일관된 추정기를 제안한다.
• 유한 표본 설정에서 일관성을 확보하기 위해 검증 기반 접근법을 사용해 최적 임계값을 추정한다.

실험 결과

연구 질문

• RQ1 비분해 가능 지표에 대해 최적의 의사결정 이론적 분류기가 긍정 클래스의 조건부 확률에 대한 부호가 붙은 임계값 설정과 동일한가? 이는 어떤 조건에서 성립하는가?
• RQ2 DTA 기반 분류의 계산 복잡도를 지수적 시간에서 다항식 시간으로 감소시킬 수 있는가?
• RQ3 Fβ 및 Jaccard와 같은 광범위한 비분해 가능 지표에 대해 확률 순서 원칙을 보장하는 일반적인 조건(예: TP 단조성)이 존재하는가?
• RQ4 제안된 DTA 기반 알고리즘이 실제 세계 데이터셋에서 EUM 기반 및 기준 기반 임계값 설정 방법과 비교해 성능가능한가?
• RQ5 특히 점점 무한에 가까워지는 근사적 상황에서 DTA와 EUM 최적 분류기가 얼마나 일치하는가?

주요 결과

• F1 및 Jaccard를 포함한 많은 비분해 가능 지표에 대해, 지표가 TP 단조성 조건을 만족할 경우 최적 DTA 분류기는 긍정 클래스의 조건부 확률에 대한 부호가 붙은 임계값 설정과 동일하다.
• 일반 지표에 대한 O(n³) 알고리즘과 특수 케이스(Fβ, Jaccard 등)에 대한 O(n²) 알고리즘은 계산 복잡도를 지수적 시간에서 다항식 시간으로 크게 감소시킨다.
• 실험 결과 제안된 DTA 방법이 시뮬레이션 및 벤치마크 데이터셋에서 다양한 지표에 대해 EUM 및 기준 방법과 비교해 유사하거나 뛰어난 성능을 보였다.
• 이 방법은 항상 0.5에서의 임계값 설정(기준)을 능가하며, 특히 불균형 데이터 설정에서 F1 및 Jaccard 지표에서 EUM 성능을 따라하거나 초월한다.
• Fβ 및 제곱 오차 계수(SEC)에 대한 기존 결과를 재확인하여 이전 연구와의 일致성을 확인했다.
• 이론적 결과에 따르면, 확률 순서 원칙을 만족하는 모든 지표에 대해 DTA와 EUM 최적 분류기는 점점 무한에 가까워지는 근사적 상황에서 점차적으로 동일해진다.