[논문 리뷰] Class-Weighted Classification: Trade-offs and Robust Approaches

Ziyu Xu, Dan Chen외 2명|arXiv (Cornell University)|2020. 05. 26.

Imbalanced Data Classification Techniques참고 문헌 45인용 수 13

한 줄 요약

이 논문은 불균형 학습 문제를 해결하기 위해 위험 최소화를 통해 불확실한 가중치를 고려하는 강건한 클래스 가중치 분류 방법을 제안한다. 이를 위해 레이블 조건부 VaR(LCVaR)와 레이블 이질적 조건부 VaR(LHCVaR)를 도입한다. 일반화 경계를 수립하고, 실제 및 시뮬레이션 데이터에서 LCVaR와 LHCVaR가 클래스 조건부 위험을 향상시킴을 실증적으로 보여준다.

ABSTRACT

We address imbalanced classification, the problem in which a label may have low marginal probability relative to other labels, by weighting losses according to the correct class. First, we examine the convergence rates of the expected excess weighted risk of plug-in classifiers where the weighting for the plug-in classifier and the risk may be different. This leads to irreducible errors that do not converge to the weighted Bayes risk, which motivates our consideration of robust risks. We define a robust risk that minimizes risk over a set of weightings and show excess risk bounds for this problem. Finally, we show that particular choices of the weighting set leads to a special instance of conditional value at risk (CVaR) from stochastic programming, which we call label conditional value at risk (LCVaR). Additionally, we generalize this weighting to derive a new robust risk problem that we call label heterogeneous conditional value at risk (LHCVaR). Finally, we empirically demonstrate the efficacy of LCVaR and LHCVaR on improving class conditional risks.

연구 동기 및 목표

• 소수 클래스의 마진 확률이 낮고 자주 잘못 분류되는 불균형 분류 문제에 대응한다.
• 클래스 조건부 위험에 대해 단일 고정 가중치를 사용할 경우 발생하는 근본적 트레이드오���을 규명한다. 이는 최적의 비용이 자주 알려져 있지 않기 때문이다.
• 가능한 클래스 가중치의 불확실성 집합 위에서 최악의 가중 위험을 최소화하는 강건한 위험 설정을 개발한다.
• 제안된 강건한 위험 최소화 프레임워크에 대한 일반화 오차 경계를 수립한다.
• 조건부 VaR(CVaR)를 클래스별 위험 최소화로 일반화한 새로운 강건한 위험 측정법인 LCVaR 및 LHCVaR를 제안한다.

제안 방법

• 각 클래스에 대해 다른 가중치를 사용하는 가중 위험을 정의하여, 소수 클래스의 우선순위를 높일 수 있도록 한다.
• 가능한 가중치 집합 Q인 불확실성 집합 위에서 가중 위험의 Supremum으로 강건한 위험을 정의하며, 클래스 마진의 분포적 강건성을 모델링한다.
• 특정한 불확실성 집합에 대해 강건한 위험은 레이블 조건부 VaR(LCVaR)로 축소되며, 이는 클래스 별 위험에 대한 VaR의 일반화이다.
• 다른 α 매개변수를 각 클래스에 대해 허용하는 레이블 이질적 조건부 VaR(LHCVaR)를 제안하여 더 민감한 위험 감수성의 유연성을 확보한다.
• LHCVaR의 이중 형태를 유도하여 제약 조건이 없는 최적화를 가능하게 하며, 특히 이질성이 유한 차원일 경우 유용하다.
• 경사 하강법을 통해 최적화를 구현하며, LHCVaR 설정에서 λ에 대한 해석적 해를 사용하여 λ의 기울기 계산 없이도 수렴 속도를 높인다.

실험 결과

연구 질문

• RQ1 불균형 분류에서 클래스 조건부 위험에 대해 단일 고정 가중치를 사용할 경우 발생하는 근본적 트레이드오프는 무엇인가?
• RQ2 클래스 가중치 선택에 대한 불확실성을 고려한 강건한 위험 최소화 프레임워크는 어떻게 설계할 수 있는가?
• RQ3 강건한 위험 설정은 조건부 VaR(CVaR)와 같은 스토하스틱 프로그래밍의 알려진 개념과 어떻게 연결될 수 있는가?
• RQ4 제안된 강건한 위험 최소화 방법의 일반화 성능는 어떠한가?
• RQ5 클래스별 α 매개변수를 허용하는 제안된 LHCVaR 프레임워크는 표준 LCVaR 및 기준 방법보다 어떻게 향상되는가?

주요 결과

• 논문은 강건한 위험 최소화 프레임워크에 대한 초과 위험 경계를 수립하여 일반화 성능에 대한 이론적 보장을 제공한다.
• 적절히 정의된 불확실성 집합을 가질 경우 LCVaR는 강건한 위험 설정의 특수한 경우로 나타나며, 이는 스토하스틱 프로그래밍 분야의 잘 알려진 개념과 연결된다.
• LHCVaR는 각 클래스에 대해 다른 α 매개변수를 허용함으로써 LCVaR를 일반화하여 이질적인 클래스 분포 간에 더 세밀한 위험 처리를 가능하게 한다.
• LHCVaR의 이중 형태는 제약 조건이 없는 최적화를 가능하게 하며, 설정에서 λ에 대한 해석적 해는 λ와 모델 파rameter를 함께 경사 하강하는 것보다 더 빠른 수렴을 이끈다.
• 실제 및 시뮬레이션 데이터에서의 실증 결과는 LCVaR와 LHCVaR가 소수 클래스의 클래스 조건부 위험을 크게 향상시킴을 보여준다.
• 제안된 방법들은 강건성과 불균형 데이터셋에서의 성능 측면에서 표준 클래스 가중치 및 기준 방법을 모두 뛰어넘는다.