[论文解读] Distributionally Robust Groupwise Regularization Estimator

José Blanchet, Yang Kang|arXiv (Cornell University)|May 11, 2017

Distributed Sensor Networks and Detection Algorithms被引用 6

一句话总结

本文提出了一种用于组平方根Lasso（GSRL）估计器的分布鲁棒优化（DRO）框架，将正则化解释为学习者与扰动数据分布的对手之间的博弈。该研究推导出一种数据驱动的、渐近有效的正则化参数公式，其性能可与交叉验证相媲美或超越，且无需迭代调参。

ABSTRACT

Regularized estimators in the context of group variables have been applied successfully in model and feature selection in order to preserve interpretability. We formulate a Distributionally Robust Optimization (DRO) problem which recovers popular estimators, such as Group Square Root Lasso (GSRL). Our DRO formulation allows us to interpret GSRL as a game, in which we learn a regression parameter while an adversary chooses a perturbation of the data. We wish to pick the parameter to minimize the expected loss under any plausible model chosen by the adversary - who, on the other hand, wishes to increase the expected loss. The regularization parameter turns out to be precisely determined by the amount of perturbation on the training data allowed by the adversary. In this paper, we introduce a data-driven (statistical) criterion for the optimal choice of regularization, which we evaluate asymptotically, in closed form, as the size of the training set increases. Our easy-to-evaluate regularization formula is compared against cross-validation, showing good (sometimes superior) performance.

研究动机与目标

• 为组平方根Lasso（GSRL）估计器提供一种分布鲁棒优化（DRO）解释，以增强可解释性与统计洞察。
• 开发一种无需依赖计算密集型交叉验证的、数据驱动的、渐近有效的GSRL正则化参数选择准则。
• 建立一种博弈论解释：学习者在经验分布的对手扰动下最小化最坏情况下的期望损失。
• 在线性与逻辑回归设置下，通过实证评估所提出的正则化参数选择方法，与交叉验证进行性能比较。
• 将DRO框架扩展至分组正则化，实现对分布偏移的鲁棒性，同时保留变量选择中的分组结构。

提出的方法

• 将GSRL表述为DRO问题，目标是在经验分布周围一个差异球内的所有分布中最小化最坏情况下的期望损失。
• 使用最优传输定义差异度量，以量化经验分布的最大允许扰动，正则化参数与该球的大小相关联。
• 基于DRO公式，推导出一个闭式表达的、渐近有效的最优正则化参数公式，使用经验分布和分组结构。
• 将DRO框架应用于线性回归与逻辑回归，分别使用平方损失和对数指数损失函数，通过α-(2,1)范数实现分组正则化。
• 在样本量不同的合成数据（n=50, 100, 500, 1000）以及UCI乳癌数据集上实证验证该方法，比较训练误差与测试误差。
• 采用博弈论解释：学习者选择回归参数以最小化最坏情况损失，而对手则从差异集合中选择最坏情况分布以最大化损失。

实验结果

研究问题

• RQ1 如何通过分布鲁棒优化（DRO）框架解释组平方根Lasso（GSRL）估计器？
• RQ2 GSRL中正则化参数的统计与博弈论解释是什么？其与分布不确定性有何关联？
• RQ3 能否从DRO公式中推导出一种避免交叉验证的数据驱动、渐近有效的正则化参数公式？
• RQ4 所提出的正则化参数选择方法在预测性能与计算效率方面与交叉验证相比如何？
• RQ5 DRO框架在多大程度上可扩展至线性与逻辑回归中的其他分组正则化估计器？

主要发现

• 所提出的DRO公式为GSRL提供了博弈论解释：学习者在数据分布的对手扰动下最小化最坏情况损失。
• GSRL中的正则化参数由经验分布的最大允许扰动（差异）精确决定，直接关联于分布鲁棒性。
• 所推导的正则化参数渐近公式计算高效，避免了交叉验证所需的样本分割，可利用全部训练数据进行模型估计。
• 在线性回归模拟中，所提方法（RWPI GSRL）在n=1000时测试误差为4.11±0.26，与交叉验证（训练误差3.95±0.19，测试误差4.11±0.26）相当，但计算成本显著降低。
• 在逻辑回归中，RWPI GSRL方法在n=1000时测试对数指数损失为0.488±0.017，与交叉验证（0.488±0.019）相当或略优，并在包含569个样本的UCI乳癌数据集上表现强劲。
• 在UCI乳癌数据集上，RWPI GSRL方法实现测试损失0.240±0.098，与交叉验证（0.213±0.041）相当，表明在小样本情况下仍具鲁棒性。