[论文解读] DORO: Distributional and Outlier Robust Optimization

Runtian Zhai, Dan Chen+2 more|arXiv (Cornell University)|Jun 11, 2021

Machine Learning and Algorithms参考文献 43被引用 7

一句话总结

本文提出 DORO，一种分布鲁棒且对异常值具有鲁棒性的优化框架，通过自适应过滤高风险样本以降低对异常值的敏感性，从而改进 DRO。通过利用 Cressie-Read 系列 Rényi 散度，DORO 在 COMPAS、CelebA 和 CivilComments-Wilds 等大规模数据集上提升了性能与训练稳定性，在子群体分布偏移设置下，其最差情况准确率和鲁棒性均优于标准 DRO。

ABSTRACT

Many machine learning tasks involve subpopulation shift where the testing data distribution is a subpopulation of the training distribution. For such settings, a line of recent work has proposed the use of a variant of empirical risk minimization(ERM) known as distributionally robust optimization (DRO). In this work, we apply DRO to real, large-scale tasks with subpopulation shift, and observe that DRO performs relatively poorly, and moreover has severe instability. We identify one direct cause of this phenomenon: sensitivity of DRO to outliers in the datasets. To resolve this issue, we propose the framework of DORO, for Distributional and Outlier Robust Optimization. At the core of this approach is a refined risk function which prevents DRO from overfitting to potential outliers. We instantiate DORO for the Cressie-Read family of Rényi divergence, and delve into two specific instances of this family: CVaR and $χ^2$-DRO. We theoretically prove the effectiveness of the proposed method, and empirically show that DORO improves the performance and stability of DRO with experiments on large modern datasets, thereby positively addressing the open question raised by Hashimoto et al., 2018.

研究动机与目标

• 解决在存在子群体分布偏移的真实任务中 DRO 性能差且不稳定的問題。
• 识别对异常值的敏感性是现代数据集中 DRO 表现次优的关键原因。
• 开发一种优化框架，在保持分布鲁棒性的同时对异常值具有鲁棒性。
• 为所提出的 DORO 框架提供理论保证与实证验证。
• 改进在无法获取 oracle 访问的领域无关设置下的模型选择策略。

提出的方法

• DORO 引入一种改进的风险函数，可在训练过程中自适应地降低高风险样本的权重，这些样本可能为异常值。
• 该方法基于 Cressie-Read 系列 Rényi 散度实现，特别关注 CVaR-DORO 和 χ²-DRO。
• 通过超参数 ε 控制基于风险过滤的数据比例，实现在无需事先标注异常值的情况下对异常值的鲁棒性。
• 该框架在保持 DRO 的最坏情况优化目标的同时，减少了对极端损失样本的过拟合。
• 理论分析证明，即使存在异常值，DORO 在子群体分布偏移下仍能保持分布鲁棒性。
• 实证评估使用了包含 COMPAS、CelebA 和 CivilComments-Wilds 在内的大规模数据集，并采用多种架构（MLP、ResNet18、BERT）进行实验。

实验结果

研究问题

• RQ1 尽管具有理论保证，为何 DRO 在真实世界数据集上实际表现不佳？
• RQ2 DRO 性能差和不稳定的程度在多大程度上是由对异常值的敏感性导致的？
• RQ3 一种能过滤高风险样本的改进风险函数是否能提升 DRO 的鲁棒性与稳定性？
• RQ4 在不同子群体的最坏情况性能下，DORO 与 DRO 和 ERM 相比如何？
• RQ5 在领域无关设置下，哪些模型选择策略对 DORO 有效？

主要发现

• 在 COMPAS 数据集上，α=0.5 且 ε=0.2 的 DORO 实现了 89.16±1.41 的最差情况准确率，优于标准 DRO（87.28±2.05）和 ERM（80.73±1.41）。
• 在 CelebA 上，α=0.25 且 ε=0.01 的 χ²-DORO 实现了 88.76±0.81 的最差情况准确率，显著优于 χ²-DRO（84.37±4.08）。
• 在 CivilComments-Wilds 上，DORO 将最差情况准确率从 DRO 的 63.36±2.51 提升至 oracle 设置下的 65.36±1.02，且在相同条件下 DORO 也达到了 65.36±1.02。
• 基于 Min CVaR 或 Min CVaR-DORO 的模型选择策略在大多数情况下表现不如 Max Average Accuracy，表明这些标准对 DORO 不可靠。
• oracle 与非 oracle 策略之间的差距依然显著，凸显了在领域无关设置下模型选择的困难性。
• 实验结果证实，移除异常值可提升 DRO 的性能，验证了对异常值的敏感性是导致 DRO 不稳定和性能差的主要原因。