[논문 리뷰] Supervised Learning with General Risk Functionals

Liu Leqi, Audrey Huang외 2명|arXiv (Cornell University)|2022. 06. 27.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 지도학습에서 손실 분포의 누적분포함수(CDF) 추정을 위한 최초의 균일 수렴 보장을 제시하며, 모든 허더 리스크 기능성과 모든 가설에 동시에 일반화 경계를 제공한다. 이는 평균, CVaR, 누적선택이론 리스크를 포함하는 왜곡 리스크에 대해 이론적 수렴 보장을 갖는 새로운 기울기 기반 최적화 방법을 도입한다. 이는 표본 및 딥러닝 설정 모두에서 검증되었다.

ABSTRACT

Standard uniform convergence results bound the generalization gap of the expected loss over a hypothesis class. The emergence of risk-sensitive learning requires generalization guarantees for functionals of the loss distribution beyond the expectation. While prior works specialize in uniform convergence of particular functionals, our work provides uniform convergence for a general class of Hölder risk functionals for which the closeness in the Cumulative Distribution Function (CDF) entails closeness in risk. We establish the first uniform convergence results for estimating the CDF of the loss distribution, yielding guarantees that hold simultaneously both over all Hölder risk functionals and over all hypotheses. Thus licensed to perform empirical risk minimization, we develop practical gradient-based methods for minimizing distortion risks (widely studied subset of Hölder risks that subsumes the spectral risks, including the mean, conditional value at risk, cumulative prospect theory risks, and others) and provide convergence guarantees. In experiments, we demonstrate the efficacy of our learning procedure, both in settings where uniform convergence results hold and in high-dimensional settings with deep networks.

연구 동기 및 목표

• 기대 손실을 초월한 리스크 민감 학습에 대한 일반화 보장의 부족을 해결하기 위해.
• 가설 클래스에 대해 CDF 추정의 균일 수렴을 확립하여, 모든 허더 리스크 기능성에 동시에 경계를 제공하기 위해.
• 리스크 민감 학습에서 널리 사용되는 왜곡 리스크(예: CVaR, 스펙트럼 리스크, 누적선택이론 리스크)에 대해 실용적이고 기울기 기반 최적화 방법을 개발하고 이론적 수렴 보장을 함께 제공하기 위해.
• 저차원 및 고차원 딥러닝 설정에서 방법의 실증적 검증을 위해.

제안 방법

• 가설 클래스에서 CDF 추정을 위해 특화된 새로운 복잡도 측정법인 순열 복잡도를 제안한다.
• 라데마처 복잡도와 VC 차원을 사용하여 경험적 CDF가 진정한 CDF로의 균일 수렴을 확립하며, 이를 순열 복잡도를 통해 확장한다.
• 근접한 CDF가 근접한 리스크를 암시하는 일반적 프레임워크를 도입하여, 모든 허더 리스크 기능성에 대한 통합된 일반화 경계를 가능하게 한다.
• CDF 값에 기반해 손실을 재가중하는 기반으로 기울기 기반 최적화를 위한 경험적 왜곡 리스크 최소화(EDRM) 알고리즘을 개발한다.
• 리스크 기능성의 매끄럽고 리프시츠 조건을 가정할 때 EDRM 알고리즘의 수렴 보장을 유도한다.
• CVaR, 스펙트럼 리스크, 누적선택이론 등 왜곡 리스크에 대해 방법을 적용하고 딥 네트워크에 구현한다.

실험 결과

연구 질문

• RQ1 가설 클래스 전반에 걸쳐 CDF 추정에 대해 균일 수렴을 확립할 수 있는가? 이를 통해 모든 허더 리스크 기능성에 동시에 일반화 보장을 확보할 수 있는가?
• RQ2 CVaR나 스펙트럼 리스크와 같은 리스크 민감 목적함수를 이론적 보장과 함께 기울기 기반 방법으로 효율적으로 최적화할 수 있는가?
• RQ3 지도학습에서 균일 CDF 추정을 위해 필요한 충분한 복잡도 측정법은 무엇인가?
• RQ4 제안된 일반화 및 최적화 방법이 고차원 딥러닝 설정에서 얼마나 잘 유지되는가?
• RQ5 제안된 방법은 분포 이탈, 노이즈 있는 레이블, 클래스 불균형에 대해 표준 ERM와 비교해 얼마나 더 강건한가?

주요 결과

• 논문은 CDF 추정에 대해 최초로 균일 수렴 결과를 확립하였으며, 라데마처 복잡도, VC 차원, 그리고 새로운 순열 복잡도 측정법을 통해 유도된 경계를 제시한다.
• 모델 클래스 내 모든 허더 리스크 기능성과 모든 가설에 대해 일반화 보장이 동시에 성립하여, 리스크 무관 일반화가 가능하다.
• 제안된 EDRM 알고리즘은 표준 매끄럽고 리프시츠 조건 하에서 정류점으로의 수렴을 달성하며, 수렴 속도는 O(1/√T)이다.
• 실증 결과는 제안된 방법이 클래스 불균형 및 노이즈 있는 레이블이 있는 환경에서 강건성을 향상시킴을 보여주며, 특히 CVaR 및 스펙트럼 리스크 목적함수에서 두드러진다.
• ImageNet 실험에서 제안된 방법을 통해 최적화된 모델은 다양한 α 수준에서 최악의 성능(CVaR 기준)이 향상되어 꼬리 리스크 통제가 더 잘 이루어지는 것으로 나타났다.