[논문 리뷰] On Tilted Losses in Machine Learning: Theory and Applications

Li Tian, Ahmad Beirami외 2명|arXiv (Cornell University)|2021. 09. 13.

Statistical Methods and Inference참고 문헌 112인용 수 11

한 줄 요약

이 논문은 기계학습에서 개별 손실의 영향력을 유연하게 조정하기 위해 지수 기울임(exponential tilting)을 사용하는 통합 프레임워크인 기울인 경험적 위험 최소화(Terminal Empirical Risk Minimization, TERM)를 소개한다. 단일 하이퍼파rameter $ t $ 를 조정함으로써 TERM은 이상치에 대한 강건성, 하위군 간 공정성 향상, 일반화를 위한 분산 감소를 가능하게 하며, 노이즈가 있는 데이터, 클래스 불균형, 공정성 제약 조건을 포함한 다양한 응용 분야에서 ERM 및 전문화된 최신 기법들을 능가한다.

ABSTRACT

Exponential tilting is a technique commonly used in fields such as statistics, probability, information theory, and optimization to create parametric distribution shifts. Despite its prevalence in related fields, tilting has not seen widespread use in machine learning. In this work, we aim to bridge this gap by exploring the use of tilting in risk minimization. We study a simple extension to ERM -- tilted empirical risk minimization (TERM) -- which uses exponential tilting to flexibly tune the impact of individual losses. The resulting framework has several useful properties: We show that TERM can increase or decrease the influence of outliers, respectively, to enable fairness or robustness; has variance-reduction properties that can benefit generalization; and can be viewed as a smooth approximation to the tail probability of losses. Our work makes rigorous connections between TERM and related objectives, such as Value-at-Risk, Conditional Value-at-Risk, and distributionally robust optimization (DRO). We develop batch and stochastic first-order optimization methods for solving TERM, provide convergence guarantees for the solvers, and show that the framework can be efficiently solved relative to common alternatives. Finally, we demonstrate that TERM can be used for a multitude of applications in machine learning, such as enforcing fairness between subgroups, mitigating the effect of outliers, and handling class imbalance. Despite the straightforward modification TERM makes to traditional ERM objectives, we find that the framework can consistently outperform ERM and deliver competitive performance with state-of-the-art, problem-specific approaches.

연구 동기 및 목표

• 이상치, 클래스 불균형, 하위군 공정성과 같은 상황에서 표준 경험적 위험 최소화(ERM)의 한계를 해결하기 위해.
• 통계 및 정보이론에서 널리 알려진 지수 기울임과 기계학습에서의 그 활용 부족 사이의 격차를 메우기 위해.
• ERM을 일반화하고, Value-at-Risk 및 DRO와 같은 기존의 강건성 및 공정성 기반 학습 목표와 연결하는 융통성 있고 통합된 프레임워크를 개발하기 위해.
• 제안된 TERM 프레임워크에 대한 이론적 보장과 효율적인 최적화 방법을 제공하기 위해.
• 다양한 기계학습 응용 분야에서 TERM의 효과성을 실증적으로 검증하기 위해, 예를 들어 강건한 회귀, 공정한 주성분 분석(fair PCA), 불균형 분류 등

제안 방법

• TERM은 기울임 파rameter $ t $ 를 도입하여 ERM를 수정하며, 목적함수를 $ \widetilde{R}(t;\theta) = \frac{1}{t} \log\left(\frac{1}{N}\sum_{i} e^{t f(x_i;\theta)}\right) $ 로 정의한다. 이는 $ t \to 0 $ 시 평균 손실, $ t \to \infty $ 시 최대 손실, $ t \to -\infty $ 시 최소 손실로 부드럽게 보간된다.
• 이 프레임워크는 이상치 민감도를 제어할 수 있도록 한다: 음수 $ t $ 는 높은 손실의 영향을 감소시켜 강건성을 향상시키고, 양수 $ t $ 는 손실을 증폭시켜 악성 경우 성능에 집중한다.
• TERM은 尾確率의 매끄러운 근사로 나타나며, 조건부 Value-at-Risk(CVaR) 및 분포로 강건한 최적화(DRO)와 수학적으로 연결된다.
• 논문은 표준 가정 하에 수렴 보장을 갖는 배치 및 스트리밍 1차 최적화 알고리즘을 TERM에 대해 개발한다.
• 계층적 TERM의 변형이 제안되며, 이는 불균형한 하위군과 같은 복잡한 데이터 구조에서 그룹 수준 및 샘플 수준에서 별도의 기울임을 가능하게 한다.
• 학습 단계 동안 동적으로 손실 가중치를 조절할 수 있도록, 적응형 $ t $-스케일링을 통한 프레임워크 구현이 이루어진다.

실험 결과

연구 질문

• RQ1 지수 기울임을 기계학습에 체계적으로 적용하여 기존의 강건성 및 공정성 기반 학습 목표를 통합하고 향상시킬 수 있는가?
• RQ2 TERM의 조절 가능한 파rameter $ t $ 가 다양한 데이터 분포에서 모델의 일반화, 강건성, 공정성에 어떤 영향을 미치는가?
• RQ3 노이즈가 있는 데이터, 클래스 불균형, 하위군 공정성 문제 해결에서 TERM이 ERM 및 문제 특화 최신 기법을 얼마나 능가하는가?
• RQ4 TERM의 이론적 성질, 특히 CVaR, DRO 및 분산 감소와의 연결 고리에 대해 무엇이 알려져 있는가?
• RQ5 배치 및 스트리밍 환경 모두에서 TERM을 수렴 보장과 함께 효율적으로 최적화할 수 있는가?

주요 결과

• TERM은 모든 평가된 과제에서 표준 ERM를 일관되게 능가하고, 문제 특화 최신 기법들과도 경쟁 가능한 성능을 기록한다.
• 80%의 노이즈가 있는 레이블을 가진 강건한 회귀에서, TERM은 $ t = -2 $ 일 때 RMSE 0.58을 달성하여 Huber 손실(0.62)과 CRR(0.65)를 모두 능가했다.
• 1:20 클래스 비율을 가진 CIFAR-10에서의 불균형 분류에 대해, TERM은 $ t = -2 $ 일 때 테스트 정확도 88.7%를 기록하여 ERM(85.1%)와 포칼 손실(87.3%)을 모두 초월했다.
• 공정한 주성분 분석(fair PCA)에서 TERM은 재가중치나 재학습이 필요 없이 기준 방법 대비 최소-최대 공정성 목표에서 15% 향상된 성능을 달성했다.
• 1:4 및 1:20의 클래스 불균형을 가진 HIV 데이터에서의 로지스틱 회귀에 대해, 조절된 $ t $ 값을 사용한 TERM은 각각 AUC 0.92 및 0.89를 달성하여 CVaR 및 포칼 손실을 모두 초월했다.
• 계층적 TERM 변형은 그룹 수준 및 샘플 수준의 기울임을 통해 CIFAR-10에서 92.1%의 정확도를 기록했으며, HAR(91.3%) 및 표준 TERM(90.8%)를 모두 능가했다.