[論文レビュー] Learning Bounds for Risk-sensitive Learning

Jaeho Lee, Sejun Park+1 more|arXiv (Cornell University)|Jun 15, 2020

Machine Learning and Algorithms参考文献 52被引用数 13

ひとこと要約

本稿は、最適化された確実性同等（OCE）を用いたリスクセンシティブな学習の統一的理論枠組みを提案し、リスク回避的およびリスク好戦的学習の一般化バウンドを提供する。主な貢献は2点である：ラデマッハに基づくOCE保証と、OCEの滑らかさに依存する程度を低減した分散に基づく期待損失バウンドであり、実験によりニューラルネットワークにおけるCVaR最小化の代替手段として、サンプル分散ペナルティが安定的かつ効果的であることが示された。

ABSTRACT

In risk-sensitive learning, one aims to find a hypothesis that minimizes a risk-averse (or risk-seeking) measure of loss, instead of the standard expected loss. In this paper, we propose to study the generalization properties of risk-sensitive learning schemes whose optimand is described via optimized certainty equivalents (OCE): our general scheme can handle various known risks, e.g., the entropic risk, mean-variance, and conditional value-at-risk, as special cases. We provide two learning bounds on the performance of empirical OCE minimizer. The first result gives an OCE guarantee based on the Rademacher average of the hypothesis space, which generalizes and improves existing results on the expected loss and the conditional value-at-risk. The second result, based on a novel variance-based characterization of OCE, gives an expected loss guarantee with a suppressed dependence on the smoothness of the selected OCE. Finally, we demonstrate the practical implications of the proposed bounds via exploratory experiments on neural networks.

研究の動機と目的

• 期待損失最小化を超えたリスクセンシティブな学習における一般化保証の欠如に対処すること。
• エントロピー的リスク、平均分散、CVaRといった多様なリスク測度を、OCEを用いた単一の理論枠組みで統一すること。
• 新しい逆OCE定式化を用いて、リスク好戦的学習へ枠組みを拡張すること。
• 既存のVC次元に基づくまたは滑らかさに依存する結果を上回る、データに依存する一般化バウンドを提供すること。
• 理論的知見を実証的に検証するため、OCE最小化と緩和されたサンプル分散ペナルティ（SVP）ベースラインを比較すること。

提案手法

• 不満足関数をパラメータとする最適化された確実性同等（OCE）を用いてリスク回避的学習を形式化し、CVaR、エントロピー的リスク、平均分散といった測度を統一的に扱う。
• リスク好戦的学習の対応として、逆OCEを導入し、低損失サンプルを優先するアルゴリズムを捉える。
• 仮説空間のラデマッハ平均を用いた一般化されたOCE超過損失バウンドを導出することで、先行研究の結果を一般化・改善する。
• OCEの分散に基づく新しい特徴付けを提案し、OCEの滑らかさに依存する程度を低減した期待損失保証を導出する。
• EOMの代替手段として実用的である緩和された最適化手順であるサンプル分散ペナルティ（SVP）を提案・分析する。
• CIFAR-10とResNet18を用いた実験により、バッチベースのSVPとバッチ-CVaRを比較し、重み減衰付きAdamと、CVaRのためのαを変化させた。

実験結果

リサーチクエスチョン

• RQ1 多様なリスク測度にわたるリスクセンシティブな学習における一般化を分析する統一的理論枠組みを開発できるか？
• RQ2 OCE最小化の一般化バウンドは、期待損失およびCVaRの既存のバウンドと比較して、データ依存性やタイトさの点でどのように異なるか？
• RQ3 OCEの分散に基づく特徴付けは、リスク測度の滑らかさにあまり依存しない一般化保証をもたらすか？
• RQ4 サンプル分散ペナルティ（SVP）は、リスク回避的学習のための安定的かつ効果的なベースラインとして機能できるか？
• RQ5 理論的バウンドは、実世界のディープラーニング設定においてどのような実用的意味を持つのか？

主な発見

• ラデマッハに基づくOCEバウンド（定理4）は、CVaR最小化における最初のデータ依存一般化保証を提供し、既存のデータ独立バウンドを上回る。
• 分散に基づく期待損失バウンド（定理7）は、OCEの滑らかさに依存する程度を抑制し、実現可能ケースにおいてより強い理論的保証を提供する。
• ResNet18を用いたCIFAR-10における実験では、バッチベースのSVPが最良のエポックでバッチ-CVaRと同等または優れた性能を示し、はるかに安定した訓練曲線を示した。
• バッチ-CVaRは約40エポック目以降、通常のERMを下回り始め、過学習の兆候を示したが、SVPは安定して良好な性能を維持した。
• 提案されたSVP手順は、非自明で実用的なリスク回避的学習のベースラインとして実証的に検証され、複雑な最適化を必要とせず、一般化性能の向上を実現した。