[论文解读] Fused Multiple Graphical Lasso

Sen Yang, Zhaosong Lu+3 more|arXiv (Cornell University)|Sep 10, 2012

Statistical Methods and Inference参考文献 34被引用 15

一句话总结

本文提出Fused Multiple Graphical Lasso（FMGL），一种二阶优化方法，通过顺序融合lasso惩罚项联合估计多个图形模型，以促进相邻图之间的结构相似性。主要贡献在于推导出块对角解的必要且充分条件，从而实现一种高效的筛选规则，可将大型图分解为较小的独立子图，显著降低计算成本，同时在合成数据和真实神经影像数据上保持高精度。

ABSTRACT

In this paper, we consider the problem of estimating multiple graphical models simultaneously using the fused lasso penalty, which encourages adjacent graphs to share similar structures. A motivating example is the analysis of brain networks of Alzheimer's disease using neuroimaging data. Specifically, we may wish to estimate a brain network for the normal controls (NC), a brain network for the patients with mild cognitive impairment (MCI), and a brain network for Alzheimer's patients (AD). We expect the two brain networks for NC and MCI to share common structures but not to be identical to each other; similarly for the two brain networks for MCI and AD. The proposed formulation can be solved using a second-order method. Our key technical contribution is to establish the necessary and sufficient condition for the graphs to be decomposable. Based on this key property, a simple screening rule is presented, which decomposes the large graphs into small subgraphs and allows an efficient estimation of multiple independent (small) subgraphs, dramatically reducing the computational cost. We perform experiments on both synthetic and real data; our results demonstrate the effectiveness and efficiency of the proposed approach.

研究动机与目标

• 解决来自相关但不同分布的数据（如神经退行性疾病阶段）中同时估计多个图形模型的挑战。
• 克服在多个图形模型中估计大规模高维精度矩阵所带来的高计算成本。
• 基于块对角解的必要且充分条件，开发一种筛选规则，将大型图分解为较小的独立子图。
• 通过采用自适应收缩方案的二阶方法，实现全局收敛且具有局部二次收敛速率。
• 在合成数据和阿尔茨海默病、MCI及正常对照组的真实脑网络数据上，验证该方法的有效性与高效性。

提出的方法

• 构建一种融合惩罚对数似然目标函数，利用顺序融合lasso惩罚项，促进相邻图形模型之间的结构相似性。
• 推导出FMGL解为块对角的必要且充分条件，从而实现将大型图分解为较小独立子图。
• 提出一种基于块对角条件的筛选规则，用于在估计前识别并隔离子图，显著降低计算负载。
• 实施一种具有自适应收缩方案的二阶牛顿型优化方法，仅更新活跃变量，提升收敛速度。
• 采用热启动技术与非精确牛顿方向，提升计算效率，尤其适用于高维数据。
• 将该方法应用于ADNI真实神经影像数据（116个AVOIs），将脑区划分为8个主要脑区，通过边概率阈值评估稳定性与结构特征。

实验结果

研究问题

• RQ1 能否构建一个统一框架，联合估计多个图形模型，同时在正常对照到MCI再到AD的进展过程中强制相邻模型之间的结构相似性？
• RQ2 Fused Multiple Graphical Lasso解为块对角的必要且充分条件是什么，从而实现对大型图的高效分解？
• RQ3 所提出的筛选规则在估计前识别块结构方面的有效性如何？其对大规模图形模型的计算影响如何？
• RQ4 与标准图形lasso相比，FMGL在样本量有限的情况下，能在多大程度上提升估计脑网络的稳定性和准确性？
• RQ5 带有收缩方案的二阶优化方法是否能在高维神经影像数据上实现快速收敛与可扩展性？

主要发现

• 所提出的筛选规则在合成数据和真实数据中均成功识别出块结构，且FMGL解中的块结构与筛选规则预测结果一致。
• 在ADHD-200数据集中，随着正则化参数（λ₁, λ₂）的增加，检测到的块数量增多且块尺寸变小，证实了该规则对惩罚强度的敏感性。
• 在FDG-PET实验中，FMGL在仅使用20%数据的情况下，于正常对照（NC）网络中检测到约140条稳定边，而GLasso在相同条件下仅检测到20条稳定边。
• FMGL估计的脑网络表现出符合生物学意义的变化：从NC到AD，前额叶连接性增加，而颞叶连接性降低，与已有文献一致。
• 脑连接模型显示，相邻图（NC、MCI、AD）具有结构相似性，证实了该方法在保留共性结构的同时捕捉疾病特异性差异的能力。
• 二阶方法实现了局部二次收敛，收缩方案通过聚焦于活跃变量的更新，显著提升了高维数据上的计算效率。