[논문 리뷰] On the Consistency of AUC Pairwise Optimization

Wei Gao, Zhi‐Hua Zhou|arXiv (Cornell University)|2012. 08. 03.

Imbalanced Data Classification Techniques참고 문헌 42인용 수 37

한 줄 요약

이 논문은 AUC 쌍별 최적화 일致성에 대한 새로운 충분조건을 수립하여 지수, 로지스틱, 거리 가중 손실이 AUC와 일치함을 증명한다. 또한 충분한 표본 수에서 AdaBoost와 RankBoost의 등가성을 위험 한계 분석을 통해 밝혀내어 랭킹 및 부스팅 알고리즘 분야에서 오랫동안 남아있던 이론적 질문을 해결한다.

ABSTRACT

AUC (area under ROC curve) is an important evaluation criterion, which has been popularly used in many learning tasks such as class-imbalance learning, cost-sensitive learning, learning to rank, etc. Many learning approaches try to optimize AUC, while owing to the non-convexity and discontinuousness of AUC, almost all approaches work with surrogate loss functions. Thus, the consistency of AUC is crucial; however, it has been almost untouched before. In this paper, we provide a sufficient condition for the asymptotic consistency of learning approaches based on surrogate loss functions. Based on this result, we prove that exponential loss and logistic loss are consistent with AUC, but hinge loss is inconsistent. Then, we derive the $q$-norm hinge loss and general hinge loss that are consistent with AUC. We also derive the consistent bounds for exponential loss and logistic loss, and obtain the consistent bounds for many surrogate loss functions under the non-noise setting. Further, we disclose an equivalence between the exponential surrogate loss of AUC and exponential surrogate loss of accuracy, and one straightforward consequence of such finding is that AdaBoost and RankBoost are equivalent.

연구 동기 및 목표

• AUC 최적화의 이론적 일치성 문제를 해결하기 위해, AUC의 비볼록성으로 인해 널리 사용되는 쌍별 대체 손실을 기반으로 한다.
• 허프만 손실과 절대 손실과 같은 일부 校정된 손실이 校정 조건을 만족함에도 불구하고 AUC와 일치하지 않는 이유를 명확히 한다.
• 쌍별 최적화에서 校정과 실제 일치성 간의 차이를 구분할 수 있는 AUC 일치성에 대한 새로운 충분조건을 수립한다.
• 실현 가능 조건 하에서 지수 손실과 로지스틱 손실의 위험 한계를 유도하여 AUC와 정확도 최적화 간의 연관성을 맺는다.
• 쌍별 대체 손실의 등가성에 기반해 무한 표본 수에서 AdaBoost와 RankBoost 간의 이론적 등가성을 입증한다.

제안 방법

• AUC 일치성에 있어 일반화된 校정을 쌍별 대체 손실 최적화에서 필수적이지만 충분하지 않은 조건으로 도입한다.
• 예상 손실과 조건부 손실 간의 관계를 바탕으로 AUC 일치성에 대한 새로운 충분조건을 제안한다.
• 부등식 $(ab - cd)^2 \leq a^2(b-d)^2 + d^2(a-c)^2$ 를 사용하여 AUC와 정확도 대체 손실 간의 위험 한계를 도출한다.
• 변환 $t_f^* = \frac{1}{2} \ln \left( \frac{E_x[\eta(x)e^{-f(x)}]}{E_x[(1-\eta(x))e^{f(x)}]} \right)$ 를 적용하여 AUC와 정확도 대체 위험을 일치시킨다.
• AUC에 대한 쌍별 지수 대체 손실이 적절한 임계값 설정 하에서 정확도에 대한 지수 대체 손실과 등가임을 보여주는 위험 한계를 도출한다.
• 새로운 충분조건을 사용하여 지수, 로지스틱, 거리 가중, $q$-노름 허프만, 일반 허프만 손실의 일치성을 증명한다.

실험 결과

연구 질문

• RQ1 허프만 손실과 절대 손실과 같이 일부 校정된 대체 손실이 校정 조건을 만족함에도 불구하고 AUC와 일치하지 않는 이유는 무엇인가?
• RQ2 AUC 쌍별 최적화에서 일치성을 보장하기 위해 校정 외에 어떤 추가 조건이 필요한가?
• RQ3 무한 표본 수에서 AdaBoost와 RankBoost 간의 등가성은 이론적으로 정당화될 수 있는가?
• RQ4 AUC 대체 손실의 위험 한계는 정확도 기반 손실의 것과 어떻게 관련이 있는가?
• RQ5 새로운 충분조건 하에서 AUC와 증명적으로 일치하는 대체 손실은 무엇인가?

주요 결과

• 일반화된 校정은 AUC 일치성에 필수적이지만 충분하지 않으며, 허프만 손실과 절대 손실이 校정되더라도 일치하지 않음을 통해 이를 입증한다.
• 새로운 충분조건을 사용하여 지수, 로지스틱, 거리 가중 손실이 AUC와 일치함을 증명한다.
• $q$-노름 허프만 손실과 일반 허프만 손실을 유도하고 AUC와의 일치성을 입증한다.
• 지수 손실과 로지스틱 손실에 대한 위험 한계를 수립하여 AUC 쌍별 대체 손실이 적절한 임계값 설정 하에서 정확도의 지수 대체 손실과 등가임을 보여준다.
• 위험 한계 분석을 통해 무한 표본 수에서 AdaBoost와 RankBoost 간의 이론적 등가성을 공식적으로 증명한다.
• 이론적 발견은 OPAUC 알고리즘을 탄생시켰으며, 이는 한 번의 통과로 효율적인 쌍별 최소제곱 손실을 사용해 AUC를 최적화하고 뛰어난 성능을 발휘한다.