[논문 리뷰] Learning Bounds for Risk-sensitive Learning

Jaeho Lee, Sejun Park외 1명|arXiv (Cornell University)|2020. 06. 15.

Machine Learning and Algorithms참고 문헌 52인용 수 13

한 줄 요약

이 논문은 최적화된 확실성 등가(OCE)를 사용하여 위험 감수성 학습을 위한 통합 이론적 프레임워크를 제안하며, 위험 회피적 학습과 위험 유혹적 학습 모두에 대한 일반화 경계를 제공한다. 두 가지 핵심 결과를 도출한다: 라데마처 기반 OCE 보장과 OCE의 매끄러움에 대한 의존도를 줄인 분산 기반의 기대 손실 경계이며, 실험을 통해 신경망에서 CVaR 최소화의 안정적이고 효과적인 대안으로 표본 분산 페널티화가 가능함을 보여준다.

ABSTRACT

In risk-sensitive learning, one aims to find a hypothesis that minimizes a risk-averse (or risk-seeking) measure of loss, instead of the standard expected loss. In this paper, we propose to study the generalization properties of risk-sensitive learning schemes whose optimand is described via optimized certainty equivalents (OCE): our general scheme can handle various known risks, e.g., the entropic risk, mean-variance, and conditional value-at-risk, as special cases. We provide two learning bounds on the performance of empirical OCE minimizer. The first result gives an OCE guarantee based on the Rademacher average of the hypothesis space, which generalizes and improves existing results on the expected loss and the conditional value-at-risk. The second result, based on a novel variance-based characterization of OCE, gives an expected loss guarantee with a suppressed dependence on the smoothness of the selected OCE. Finally, we demonstrate the practical implications of the proposed bounds via exploratory experiments on neural networks.

연구 동기 및 목표

• 기대 손실 최소화를 초월한 위험 감수성 학습에 대한 일반화 보장의 부족을 해결하기 위해.
• 엔트로피 위험, 평균-분산, CVaR와 같은 다양한 위험 측정법을 OCE를 통해 하나의 이론적 프레임워크로 통합하기 위해.
• 새로운 역전 OCE 공식화를 통해 위험 유혹적 학습으로 프레임워크를 확장하기 위해.
• 기존의 VC 차원 기반 또는 매끄러움에 의존하는 결과보다 향상된 데이터 기반 일반화 경계를 제공하기 위해.
• 이론적 통찰을 실증적으로 검증하기 위해 OCE 최소화와 완화된 표본 분산 페널티화(SVP) 기반 베이스라인 간의 비교를 수행하기 위해.

제안 방법

• 위험 회피적 학습을 최적화된 확실성 등가(OCE)를 통해 수식화하며, 이는 손실 함수의 비효용 함수에 의해 매개변수화되어 CVaR, 엔트로피 위험, 평균-분산 등 다양한 측정법을 통합한다.
• 위험 유혹적 학습을 위한 동반자로 역전 OCE를 도입하여, 낮은 손실 샘플을 우선시하는 알고리즘을 포괄한다.
• 가설 공간의 라데마처 평균을 사용하여 일반 OCE 초과 손실 경계를 유도하며, 이는 이전의 경계를 일반화하고 향상시킨다.
• OCE의 새로운 분산 기반 특성화를 개발하여, OCE의 매끄러움에 대한 의존도를 감소시킨 기대 손실 보장을 도출한다.
• EOM의 실용적 대안으로서의 이완된 최적화 절차인 표본 분산 페널티화(SVP)를 제안하고 분석한다.
• ResNet18을 사용한 CIFAR-10 실험을 통해 배치 기반 SVP와 배치-CVaR을 비교하며, 가중치 감쇠와 다양한 α 값을 갖는 Adam을 사용한다.

실험 결과

연구 질문

• RQ1 다양한 위험 측정법에 걸쳐 위험 감수성 학습의 일반화를 분석할 수 있는 통합 이론적 프레임워크를 개발할 수 있는가?
• RQ2 OCE 최소화의 일반화 경계는 기대 손실 및 CVaR에 대한 기존 경계와 비교해 데이터 의존성과 날카움 측면에서 어떻게 다른가?
• RQ3 OCE의 분산 기반 특성화는 위험 측정법의 매끄러움에 민감도가 낮은 일반화 보장을 이끌어내는가?
• RQ4 표본 분산 페널티화(SVP)는 위험 회피적 학습의 안정적이고 효과적인 기반 설정으로 기능할 수 있는가, 직접적인 CVaR 최소화를 능가하는가?
• RQ5 이론적 경계는 실제 딥러닝 환경에서 어떤 실용적 함의를 지닌다?

주요 결과

• 라데마처 기반 OCE 경계(정리 4)는 기대 손실 최소화를 초월한 CVaR 최소화에 대해 데이터 기반 일반화 보장을 제공하는 최초의 결과이며, 기존의 데이터 독립적 경계를 향상시킨다.
• 분산 기반 기대 손실 경계(정리 7)는 OCE의 매끄러움에 대한 의존도를 억제하여, 실현 가능한 경우 더 강력한 이론적 보장을 제공한다.
• ResNet18을 사용한 CIFAR-10 실험에서, 배치 기반 SVP는 최적의 에포크에서 배치-CVaR과 비교해 성능이 유사하거나 뛰어나며, 훨씬 더 안정적인 학습 곡선을 보였다.
• 배치-CVaR은 약 40 에포크 이후 바닐라 ERM보다 성능이 떨어지기 시작하여 과적합 문제를 보였지만, SVP는 안정적이고 강건하게 유지되었다.
• 제안된 SVP 절차는 위험 회피적 학습을 위한 비어 있지 않은 실용적 기반 설정으로 실험적으로 검증되었으며, 복잡한 최적화를 요구하지 않고도 일반화 성능을 향상시킬 수 있다.