[論文レビュー] DROP: Distributionally Robust Optimization for Multi-task Learning in Graphical Models

Canruo Shen, Xintong Ji+3 more|arXiv (Cornell University)|Mar 24, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

DROP は、データ汚染に耐え、スパース性を維持するガウスグラフィカルモデルを推定するための分布的に頑健な多タスクノード毎回帰アプローチである。

ABSTRACT

Gaussian Graphical Models (GGMs) are widely used to infer conditional dependence structures in high-dimensional data. However, standard precision matrix estimators are highly sensitive to data contamination, such as extreme outliers and heavy-tailed noise. In this paper, we propose DROP (Distributionally Robust Optimization), a robust estimation method formulated within a multi-task nodewise regression framework. The proposed estimator enforces structural sparsity while resisting the influence of corrupted observations. Theoretically, we establish error bounds for the DROP estimator under general contamination. Through extensive high-dimensional simulations, we demonstrate that DROP consistently controls the rate of false positive edges and outperforms conventional non-robust estimators when data deviate from standard Gaussian assumptions. Furthermore, in a functional MRI (fMRI) application, DROP maintains a stable graph structure and preserves network modularity even when subjected to severe data perturbations, whereas competing methods yield excessively dense networks. To facilitate reproducible research, the DROP R package will be made publicly available on GitHub.

研究の動機と目的

• データ汚染と重尾部ノイズ下でのガウスグラフィカルモデルの頑健推定を動機づける。
• GGM の Wasserstein 分布的頑健な多タスクノード毎回帰フレームワークを開発する。
• すべてのノード隣接領域を共同推定するための DRO 双対性による頑健ペナルティを導出する。
• 単一タスクおよび多タスク DROP 推定量の誤差界限と理論的保証を確立する。
• シミュレーションと fMRI データで実証的な頑健性と効率を示す。

提案手法

• p ノード毎回帰のスカラー化により GGM 推定を多タスク隣接選択問題として定式化する。
• Wasserstein 分布的頑健最適化を適用して結合目的関数の頑健正則化子を導出する。
• スカラー化を伴う二次ノードワイズ損失を用いて全ノードに対する頑健な多タスク損失を作成する。
• Wasserstein 不確実性集合の二重から DRO ベースのペナルティを導出し、頑健性と正則化を結びつける。
• 高次元設定での最適化アルゴリズムを提供し、計算規模性を議論する。
• 一般的な汚染下での理論的誤差界を報告し、シミュレーションと fMRI データで検証する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein DROP をどのように多タスクノード毎 GGM 推定と統合して頑健な推定量を作るか。
• RQ2 DROP を多タスク GGM 設定へ拡張する際の統計的性質と収束速度はどうなるか。
• RQ3 DRO ベースのアプローチはデータ汚染下でのグラフ復元とスパース性制御を非頑健法と比較して改善するか。
• RQ4 提案されたフレームワークを高次元で効率的に計算し、fMRI のような実データへ拡張できるか。

主な発見

• DROP はデータ汚染下でも希薄なグラフ復元を維持し、高次元設定で非頑健推定量より上回る。
• DRO 由来のペナルティは頑健性の半径に結びつく妥当な正則化パラメータを提供する。
• 多タスクの数式化はノード毎タスク間の依存を独立した単一タスク推定よりも良く捉える。
• シミュレーションはガウス仮定からの逸脱時にも偽陽性辺の制御を頑健に示す。
• 機能的磁気共鳴画像データにおいて、DROP は摂動下で安定したグラフ構造とモジュール的ネットワークを生み出す。
• DROP を実装する R パッケージが再現可能研究のために GitHub で公開される予定。