[논문 리뷰] DROP: Distributionally Robust Optimization for Multi-task Learning in Graphical Models

Canruo Shen, Xintong Ji외 3명|arXiv (Cornell University)|2026. 03. 24.

Stochastic Gradient Optimization Techniques인용 수 0

한 줄 요약

DROP는 데이터 오염에 강하고 희소성을 유지하는 가우시안 그래프 모델을 추정하기 위한 분포강건 다중 작업 노드와이즈 회귀 접근법을 제공한다.

ABSTRACT

Gaussian Graphical Models (GGMs) are widely used to infer conditional dependence structures in high-dimensional data. However, standard precision matrix estimators are highly sensitive to data contamination, such as extreme outliers and heavy-tailed noise. In this paper, we propose DROP (Distributionally Robust Optimization), a robust estimation method formulated within a multi-task nodewise regression framework. The proposed estimator enforces structural sparsity while resisting the influence of corrupted observations. Theoretically, we establish error bounds for the DROP estimator under general contamination. Through extensive high-dimensional simulations, we demonstrate that DROP consistently controls the rate of false positive edges and outperforms conventional non-robust estimators when data deviate from standard Gaussian assumptions. Furthermore, in a functional MRI (fMRI) application, DROP maintains a stable graph structure and preserves network modularity even when subjected to severe data perturbations, whereas competing methods yield excessively dense networks. To facilitate reproducible research, the DROP R package will be made publicly available on GitHub.

연구 동기 및 목표

• 가우시안 그래프 모델의 데이터 오염 및 무거운 꼬리 노이즈 하에서의 로버스트 추정 동기 부여.
• Wasserstein 분포 강건성 다중 작업 노드와이즈 회귀 프레임워크를 GGMs에 대해 개발.
• 모두의 노드 이웃을 공동으로 추정하기 위한 DRO 이중성 기반의 로버스트 페널티를 도출.
• 단일 작업 및 다중 작업 DROP 추정치에 대한 오차 경계 및 이론적 보장을 확립.
• 시뮬레이션 및 fMRI 데이터에서 실증적 로버스트성 및 효율성 시연

제안 방법

• p 노드와이즈 회귀의 스칼라화로 GGM 추정을 다중 작업 이웃 선택 문제로 형식화.
• joint objective에 대해 로버스트 정규화 항을 도출하기 위해 Wasserstein 분포 강건 최적화를 적용.
• 스칼라화를 사용한 이차 노드와이즈 손실로 모든 노드에 대한 로버스트 다중 작업 손실을 생성.
• Wasserstein 모호성 집합의 이중성에서 DRO 기반 페널티를 도출하여 로버스트성과 정규화의 연결.
• 고차원 설정에서의 계산적 확장성에 대한 최적화 알고리즘 제시 및 논의.
• 일반 오염 하에서의 이론적 오차 경계 보고 및 시뮬레이션과 fMRI 데이터로 검증

실험 결과

연구 질문

• RQ1 Wasserstein DROP을 다중 작업 노드와이즈 GGM 추정과 통합하여 로버스트한 추정기를 어떻게 만들 수 있는가?
• RQ2 DROP를 다중 작업 GGM 설정으로 확장할 때의 통계적 특성 및 수렴 속도는 무엇인가?
• RQ3 DRO 기반 접근법이 데이터 오염 하에서 그래프 복원 및 희소성 제어를 비로버스트 방법과 비교하여 개선되는가?
• RQ4 고차원에서 효율적으로 계산하고 fMRI와 같은 실제 데이터로 스케일링이 가능한가?

주요 결과

• DROP는 데이터 오염 하에서도 희소 그래프 복원을 유지하고 고차원 설정에서 비로버스트 추정기보다 우수한 성능을 보인다.
• DRO 도출 페널티는 로버스트니스 반경에 연결된 원칙적 정규화 매개변수를 제공한다.
• 다중 작업 형태가 노드와이즈 작업 간의 의존성을 독립적인 단일 작업 추정보다 더 잘 포착한다.
• 시뮬레이션에서 가우시안 가정에서 벗어났을 때 거짓 양성 엣지를 위한 강건한 제어를 보여준다.
• 기능적 MRI 데이터에서 DROP는扰있게도 안정적인 그래프 구조와 모듈러 네트워크를 제공한다.
• DROP를 구현한 R 패키지가 재현 가능한 연구를 위해 GitHub에 공개될 예정이다