[论文解读] Learning Bounds for Risk-sensitive Learning

Jaeho Lee, Sejun Park+1 more|arXiv (Cornell University)|Jun 15, 2020

Machine Learning and Algorithms参考文献 52被引用 13

一句话总结

本文提出了一种基于优化确定等价物（OCE）的统一理论框架，用于风险敏感学习，为风险规避和风险偏好学习提供了泛化界。该研究建立了两个关键结果：基于Rademacher的OCE保证，以及减少对OCE平滑性依赖的基于方差的期望损失界。实验表明，样本方差惩罚是一种稳定且有效的替代CVaR最小化的方法，适用于神经网络。

ABSTRACT

In risk-sensitive learning, one aims to find a hypothesis that minimizes a risk-averse (or risk-seeking) measure of loss, instead of the standard expected loss. In this paper, we propose to study the generalization properties of risk-sensitive learning schemes whose optimand is described via optimized certainty equivalents (OCE): our general scheme can handle various known risks, e.g., the entropic risk, mean-variance, and conditional value-at-risk, as special cases. We provide two learning bounds on the performance of empirical OCE minimizer. The first result gives an OCE guarantee based on the Rademacher average of the hypothesis space, which generalizes and improves existing results on the expected loss and the conditional value-at-risk. The second result, based on a novel variance-based characterization of OCE, gives an expected loss guarantee with a suppressed dependence on the smoothness of the selected OCE. Finally, we demonstrate the practical implications of the proposed bounds via exploratory experiments on neural networks.

研究动机与目标

• 解决在期望损失最小化之外，风险敏感学习缺乏泛化保证的问题。
• 通过OCE将多种风险度量（如熵风险、均值-方差和CVaR）统一于单一理论框架之下。
• 通过新颖的反向OCE公式，将该框架扩展至风险偏好学习。
• 提供数据依赖的泛化界，以改进现有的基于VC维或平滑性依赖的结果。
• 通过将OCE最小化与松弛的样本方差惩罚（SVP）基线进行比较，实证验证理论洞见。

提出的方法

• 通过优化确定等价物（OCE）形式化风险规避学习，由一个损失函数参数化，以统一CVaR、熵风险和均值-方差等度量。
• 引入反向OCE作为风险偏好学习的对应形式，捕捉那些优先考虑低损失样本的算法。
• 利用假设空间的Rademacher平均，推导出一般性的OCE超额风险界，推广并改进了先前的界。
• 提出一种新颖的基于方差的OCE表征，以推导出对OCE平滑性依赖性更低的期望损失保证。
• 提出并分析一种松弛的优化过程——样本方差惩罚（SVP），作为EOM的实用替代方案。
• 在CIFAR-10上使用ResNet18进行实验，比较基于批次的SVP与基于批次的CVaR，采用Adam优化器并加入权重衰减，同时调整CVaR的α参数。

实验结果

研究问题

• RQ1 能否开发一个统一的理论框架，以分析在多种风险度量下风险敏感学习的泛化性能？
• RQ2 OCE最小化的泛化界与现有期望损失和CVaR的界相比，在数据依赖性和紧致性方面如何？
• RQ3 基于方差的OCE表征是否能带来对风险度量平滑性不敏感的泛化保证？
• RQ4 样本方差惩罚（SVP）能否作为风险规避学习的稳定且有效的基线，优于直接的CVaR最小化？
• RQ5 理论界在真实世界深度学习设置中的实际影响是什么？

主要发现

• 基于Rademacher的OCE界（定理4）首次为CVaR最小化提供了数据依赖的泛化保证，优于现有的数据无关界。
• 基于方差的期望损失界（定理7）降低了对OCE平滑性的依赖，在可实现情况下提供了更强的理论保证。
• 在CIFAR-10上使用ResNet18的实验表明，基于批次的SVP在最佳训练轮次的性能与基于批次的CVaR相当或更优，且训练曲线显著更稳定。
• 基于批次的CVaR在约40个训练轮次后开始落后于标准ERM，表明存在过拟合问题，而SVP始终保持稳健和稳定。
• 所提出的SVP方法在实证上被验证为一种非平凡的、实用的风险规避学习基线，无需复杂优化即可实现更好的泛化性能。