[논문 리뷰] PAC-Bayesian Bound for the Conditional Value at Risk

Zakaria Mhammedi, Benjamin Guedj외 1명|arXiv (Cornell University)|2020. 06. 26.

Risk and Portfolio Optimization참고 문헌 42인용 수 12

한 줄 요약

이 논문은 경험 손실의 조건부가치위험(CVaR)을 최소화하는 학습 알고리즘을 위한 PAC-Bayesian 일반화 경계를 제안한다. CVaR 추정을 기대값 추정으로 환원함으로써, 유계가 아닌 랜덤 변수에 대해 날카운 농도 불등식을 도출하여, 위험 수준 α에 대해 유리하게 스케일링되는 날카운 일반화 경계를 가능하게 한다.

ABSTRACT

Conditional Value at Risk (CVaR) is a family of "coherent risk measures" which generalize the traditional mathematical expectation. Widely used in mathematical finance, it is garnering increasing interest in machine learning, e.g., as an alternate approach to regularization, and as a means for ensuring fairness. This paper presents a generalization bound for learning algorithms that minimize the CVaR of the empirical loss. The bound is of PAC-Bayesian type and is guaranteed to be small when the empirical CVaR is small. We achieve this by reducing the problem of estimating CVaR to that of merely estimating an expectation. This then enables us, as a by-product, to obtain concentration inequalities for CVaR even when the random variable in question is unbounded.

연구 동기 및 목표

• 학습 알고리즘이 CVaR를 최소화하는 데 있어 일반화 경계가 부족한 문제를 다루며, 최근 머신러닝에서 강건성과 공정성 향상에 널리 사용되고 있는 일관된 위험 측도인 CVaR에 대한 일반화 경계가 필요하다.
• PAC-Bayesian 분석을 CVaR 최소화에 확장함으로써, 그 중요성이 증가하고 있음에도 불구하고 체계적으로 연구되지 않은 분야를 확장하고자 한다.
• 기본 손실 랜덤 변수가 무한한 경우에도 적용 가능한 CVaR에 대한 농도 불등식을 유도하고자 한다.
• 경험 CVaR가 작을수록 일반화 경계가 작아지도록 보장하여 신뢰할 수 있는 일반화 성능을 확보하고자 한다.

제안 방법

• 저자들은 손실 분포의 새로운 변환을 활용하여, CVaR 추정 문제를 표준 기대값 추정 문제로 환원한다.
• 이 환원을 통해 새로운 CVaR 농도 불등식을 유도하였으며, 명시적인 상수와 위험 수준 α에 대한 의존성을 포함한다.
• 이 방법은 서브가우시안 및 서브지수 손실 분포에 적용 가능하여, 유계이지만 잘 행동하는 손실에 대한 경계를 가능하게 한다.
• 핵심 기술 기여는 경험 CVaR와 진정한 CVaR 사이의 편차를 제어하기 위해 분위수 기반 분해를 사용하는 것이다.
• 이 접근법은 이전 경계보다 α에 대해 더 날카운 의존성을 보이며, 보다 정교한 지수 항을 통해 향상 가능성이 있다.
• 이 프레임워크는 φ-엔트로피 위험 측도로 확장되어, 강건한 학습에 대한 일관된 위험 측도에 대한 더 넓은 적용 가능성을 시사한다.

실험 결과

연구 질문

• RQ1 표준 기대 손실이 아닌 CVaR를 최소화하는 학습 알고리즘에 대해 PAC-Bayesian 일반화 경계를 도출할 수 있는가?
• RQ2 손실 랜덤 변수가 무한할 경우, CVaR에 대한 농도 불등식을 어떻게 확립할 수 있는가?
• RQ3 일반화 경계가 위험 수준 α에 대해 어떻게 의존하는가? 기존 결과와 비교해 개선 가능할까?
• RQ4 CVaR 추정을 기대값 추정으로의 환원이 다른 일관된 위험 측도로 일반화될 수 있는가?

주요 결과

• 논문은 경험 CVaR가 작을수록 항상 작아지는 보장이 있는 CVaR 최소화를 위한 PAC-Bayesian 일반화 경계를 확립한다.
• 명시적인 상수와 α에 대한 의존성을 포함한, 유계가 아닌 랜덤 변수에도 유효한 새로운 CVaR 농도 불등식을 도출하였다.
• 서브가우시안 손실의 경우, 경계는 √(ln(1/δ)/(αn)) 의 의존성을 보이며, 위험 수준 α가 제곱근 안의 분모에 나타난다.
• 유계 랜덤 변수에 대한 경계는 Z의 범위 대신 더 작은 양수인 CVaR[Z]를 사용하여 이전 결과보다 개선된 성능를 보인다.
• 저자들은 지수 항에서 α² 의존성이 α로 개선될 수 있을 것이라 추측하며, 이는 경계를 더욱 날카롭게 만들 수 있다.
• 이 방법은 φ-엔트로피 위험 측도로 확장되어, 강건한 학습에서 일관된 위험 측도에 대한 더 넓은 적용 가능성을 시사한다.