[論文レビュー] Supervised Learning with General Risk Functionals

Liu Leqi, Audrey Huang+2 more|arXiv (Cornell University)|Jun 27, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、教師あり学習における損失分布の累積分布関数（CDF）推定に対する、初めての一様収束保証を提示する。これにより、すべての Hölder リスク関数型およびすべての仮説に対して同時に一般化境界を確立できる。また、平均、CVaR、累積プロスペクト理論リスクを包含する歪みリスクのための、新たな勾配ベースの最適化手法を提案し、理論的収束保証を伴う。実験では、表形式データおよびディープラーニング設定の両方で有効性を検証した。

ABSTRACT

Standard uniform convergence results bound the generalization gap of the expected loss over a hypothesis class. The emergence of risk-sensitive learning requires generalization guarantees for functionals of the loss distribution beyond the expectation. While prior works specialize in uniform convergence of particular functionals, our work provides uniform convergence for a general class of Hölder risk functionals for which the closeness in the Cumulative Distribution Function (CDF) entails closeness in risk. We establish the first uniform convergence results for estimating the CDF of the loss distribution, yielding guarantees that hold simultaneously both over all Hölder risk functionals and over all hypotheses. Thus licensed to perform empirical risk minimization, we develop practical gradient-based methods for minimizing distortion risks (widely studied subset of Hölder risks that subsumes the spectral risks, including the mean, conditional value at risk, cumulative prospect theory risks, and others) and provide convergence guarantees. In experiments, we demonstrate the efficacy of our learning procedure, both in settings where uniform convergence results hold and in high-dimensional settings with deep networks.

研究の動機と目的

• 期待損失を超えたリスクセンシティブな学習に対する一般化保証の欠如に取り組む。
• 仮説クラス全体におけるCDF推定のための一様収束を確立し、すべての Hölder リスク関数型に対して同時に境界を適用可能にする。
• リスクセンシティブな学習に広く用いられる歪みリスク（特にCVaR、スペクトルリスク、累積プロスペクト理論）の実用的で勾配ベースの最適化手法を開発し、理論的収束保証を併せ持つ。
• 低次元および高次元のディープラーニング設定の両方で、提案手法の実証的妥当性を検証する。

提案手法

• 仮説クラスにおけるCDF推定に特化した新たな複雑性測度、順列複雑性を提案する。
• Rademacher 複雑性とVC次元を用いて、真のCDFへの経験的CDFの一様収束を確立し、順列複雑性を介して拡張する。
• CDFの近さがリスクの近さを意味することを保証する、Hölder リスク関数型の一般枠組みを導入し、統一的な一般化境界を可能にする。
• CDF値に基づいて損失を再重み付けする、経験的歪みリスク最小化（EDRM）アルゴリズムを開発し、勾配ベースの最適化を可能にする。
• リスク関数型の滑らかさおよびリプシッツ連続性の仮定の下で、EDRMアルゴリズムの収束保証を導出する。
• CVaR、スペクトルリスク、累積プロスペクト理論など、歪みリスクの種々の例に本手法を適用し、ディープネットワークへの実装を実施する。

実験結果

リサーチクエスチョン

• RQ1 仮説クラス全体におけるCDF推定について、すべての Hölder リスク関数型に対して同時に一般化を保証する一様収束を確立できるか？
• RQ2 CVaR やスペクトルリスクといったリスクセンシティブな目的関数を、理論的保証を伴う勾配ベースの方法で効率的に最適化できるか？
• RQ3 教師あり学習における一様CDF推定に必要な十分な複雑性測度は何か？
• RQ4 提案された一般化および最適化手法が、高次元のディープラーニング設定においてどの程度有効に機能するか？
• RQ5 クラス不均衡、ノイズのあるラベル、分布シフトの影響に対して、提案手法は標準的なERMと比べてどの程度頑健性を示すか？

主な発見

• 本稿では、Rademacher 複雑性、VC次元、および新規の順列複雑性測度に基づく、CDF推定の最初の一体収束結果を確立した。
• 一般化保証は、モデルクラス内のすべての仮説およびすべての Hölder リスク関数型に対して同時に成立し、リスクに依存しない一般化を可能にする。
• 提案された EDRM アルゴリズムは、標準的な滑らかさおよびリプシッツ連続性の仮定の下で、定常点への収束を達成し、収束速度は O(1/√T) である。
• 実験結果から、本手法がクラス不均衡やノイズのあるラベルの設定において、特に CVaR やスペクトルリスクの目的関数において、頑健性の向上を示した。
• ImageNet 実験では、異なる α レベルにおいても、本手法で最適化されたモデルが、最悪ケース性能（例：低い CVaR）を改善しており、尾部リスクの制御が向上していることが示された。