[論文レビュー] PAC-Bayesian Bound for the Conditional Value at Risk

Zakaria Mhammedi, Benjamin Guedj+1 more|arXiv (Cornell University)|Jun 26, 2020

Risk and Portfolio Optimization参考文献 42被引用数 12

ひとこと要約

本稿では、経験誤差の条件付きリスク価値（CVaR）を最小化する学習アルゴリズムのためのPAC-Bayesian一般化バウンドを提示する。CVaR推定を期待値推定に還元することで、有界でない確率変数に対する鋭い集中不等式を導出し、リスク水準αに有利にスケーリングされるタイトな一般化バウンドを可能にする。

ABSTRACT

Conditional Value at Risk (CVaR) is a family of "coherent risk measures" which generalize the traditional mathematical expectation. Widely used in mathematical finance, it is garnering increasing interest in machine learning, e.g., as an alternate approach to regularization, and as a means for ensuring fairness. This paper presents a generalization bound for learning algorithms that minimize the CVaR of the empirical loss. The bound is of PAC-Bayesian type and is guaranteed to be small when the empirical CVaR is small. We achieve this by reducing the problem of estimating CVaR to that of merely estimating an expectation. This then enables us, as a by-product, to obtain concentration inequalities for CVaR even when the random variable in question is unbounded.

研究の動機と目的

• 機械学習におけるロバストネスと公平性のためますます利用が増えている一貫したリスク測度であるCVaRを最小化する学習アルゴリズムの一般化バウンドの欠如に対処すること。
• CVaR最小化は近年の関連性が高まっているが、体系的には研究されていないため、PAC-Bayesian解析をCVaR最小化に拡張すること。
• 元の損失確率変数が有界でない場合でも適用可能な、CVaRのための集中不等式を導出すること。
• 経験的CVaRが小さいときに一般化バウンドが小さくなるようにすることにより、信頼性の高い一般化性能を保証すること。

提案手法

• 著者らは、損失分布の新しい変換を活用して、CVaR推定の問題を標準的期待値推定の問題に還元する。
• この還元を用いて、明確な定数とリスク水準αに依存する新しいCVaRの集中不等式を導出する。
• この手法は、サブガウス型およびサブ指数型の損失分布に適用可能であり、有界でないが良好に振る舞う損失に対してもバウンドを可能にする。
• 主な技術的貢献として、経験的CVaRと真のCVaRの乖離を制御するための分位数に基づく分解の使用がある。
• このアプローチにより、従来のバウンドよりもαにたいするよりタイトな依存関係が得られ、より洗練された指数項の改良によりさらなる改善が可能である。
• フレームワークはφ-エントロピー的リスク測度へと拡張され、一貫したリスク測度へのより広範な適用可能性を示唆している。

実験結果

リサーチクエスチョン

• RQ1 標準的期待損失ではなくCVaRを最小化する学習アルゴリズムのためのPAC-Bayesian一般化バウンドを導出できるか？
• RQ2 損失確率変数が有界でない場合に、CVaRのための集中不等式をどのように確立できるか？
• RQ3 一般化バウンドがリスク水準αにどのように依存するか。また、既存の結果と比較して改善可能か？
• RQ4 CVaR推定を期待値推定に還元する手法を、他の一貫したリスク測度へ一般化できるか？

主な発見

• 本稿では、経験的CVaRが小さいときには一般化バウンドが保証的に小さくなるCVaR最小化のためのPAC-Bayesian一般化バウンドを確立した。
• 明確な定数とαへの依存関係を有する、有界でない確率変数に対しても有効な新しいCVaRの集中不等式を導出した。
• サブガウス型損失の場合、バウンドは√(ln(1/δ)/(αn))に依存し、リスク水準αが平方根の中の分母に現れる。
• 有界な確率変数に対しては、Zの範囲の代わりにより小さい量であるCVaR[Z]が使われており、従来の結果が全範囲を使用していたのを改善している。
• 著者らは、指数部におけるα²の依存関係をαに改善できると仮説を立てており、これによりバウンドがさらにタイトになる可能性がある。
• この手法はφ-エントロピー的リスク測度へと拡張され、ロバストな学習における一貫したリスク測度へのより広範な応用の可能性を示唆している。