[论文解读] DROP: Distributionally Robust Optimization for Multi-task Learning in Graphical Models

Canruo Shen, Xintong Ji+3 more|arXiv (Cornell University)|Mar 24, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

DROP 提供了一种分布鲁棒的、多任务的节点级回归方法，用于估计高斯图模型，能够抵抗数据污染并保持稀疏性。

ABSTRACT

Gaussian Graphical Models (GGMs) are widely used to infer conditional dependence structures in high-dimensional data. However, standard precision matrix estimators are highly sensitive to data contamination, such as extreme outliers and heavy-tailed noise. In this paper, we propose DROP (Distributionally Robust Optimization), a robust estimation method formulated within a multi-task nodewise regression framework. The proposed estimator enforces structural sparsity while resisting the influence of corrupted observations. Theoretically, we establish error bounds for the DROP estimator under general contamination. Through extensive high-dimensional simulations, we demonstrate that DROP consistently controls the rate of false positive edges and outperforms conventional non-robust estimators when data deviate from standard Gaussian assumptions. Furthermore, in a functional MRI (fMRI) application, DROP maintains a stable graph structure and preserves network modularity even when subjected to severe data perturbations, whereas competing methods yield excessively dense networks. To facilitate reproducible research, the DROP R package will be made publicly available on GitHub.

研究动机与目标

• 在数据污染和重尾噪声下，激发对高斯图模型的鲁棒估计。
• 开发一个用于 GGM 的 Wasserstein 分布鲁棒多任务节点级回归框架。
• 通过 DRO 对偶性推导出鲁棒惩罚项，以联合估计所有节点的邻域。
• 建立单任务和多任务 DROP 估计量的误差界与理论保证。
• 在仿真和 fMRI 数据上展示经验鲁棒性与效率。

提出的方法

• 将 GGM 估计表述为一个多任务的邻域选择问题，通过对 p 个节点级回归进行标量化。
• 应用 Wasserstein 分布式鲁棒优化以导出联合目标的鲁棒正则化项。
• 使用带标量化的二次节点回归损失，构建覆盖所有节点的鲁棒多任务损失。
• 从 Wasserstein 模糊集的对偶推导出基于 DRO 的惩罚项，将鲁棒性与正则化联系起来。
• 提供优化算法并讨论在高维情形中的计算可扩展性。
• 在一般污染条件下给出理论误差界，并通过仿真和 fMRI 数据进行验证。

实验结果

研究问题

• RQ1 如何将 Wasserstein DROP 与多任务节点级 GGM 估计相结合，构建鲁棒估计量？
• RQ2 将 DROP 扩展到多任务 GGM 设置时，统计性质与收敛速率是什么？
• RQ3 与非鲁棒方法相比，DRO 基于方法在数据污染下是否改善图恢复与稀疏性控制？
• RQ4 在高维和实际数据如 fMRI 情况下，所 proposed 框架是否能高效计算并扩展？

主要发现

• DROP 在数据污染下保持稀疏图恢复，并在高维场景中优于非鲁棒估计量。
• DRO 推导的惩罚项提供了一个与鲁棒性半径绑定的原理性正则化参数。
• 多任务公式比独立的单任务估计更好地捕捉节点级任务之间的相关性。
• 仿真显示在数据偏离高斯假设时对假阳性边的鲁棒控制。
• 在功能性 MRI 数据中，DROP 对扰动下仍能得到稳定的图结构和模块化网络。
• 将公开在 GitHub 上提供实现 DROP 的 R 包，用于可重复研究。