[论文解读] Handling correlated and repeated measurements with the smoothed multivariate square-root Lasso

Quentin Bertrand, Mathurin Massias+2 more|arXiv (Cornell University)|Feb 7, 2019

Statistical Methods and Inference被引用 5

一句话总结

本论文提出共轭Lasso重复方法（CLaR），一种凸优化方法，通过利用高维多任务回归中所有重复测量数据，在相关且非独立同分布（non-i.i.d.）噪声条件下提升支持识别性能。通过核范数逼近对多变量平方根Lasso进行平滑处理，CLaR联合估计回归系数与噪声共标准差，相较于现有估计器在神经影像学应用中表现更优，尤其在样本量较小时（因平均处理导致）表现突出。

ABSTRACT

Sparsity promoting norms are frequently used in high dimensional regression. A limitation of such Lasso-type estimators is that the optimal regularization parameter depends on the unknown noise level. Estimators such as the concomitant Lasso address this dependence by jointly estimating the noise level and the regression coefficients. Additionally, in many applications, the data is obtained by averaging multiple measurements: this reduces the noise variance, but it dramatically reduces sample sizes and prevents refined noise modeling. In this work, we propose a concomitant estimator that can cope with complex noise structure by using non-averaged measurements. The resulting optimization problem is convex and amenable, thanks to smoothing theory, to state-of-the-art optimization techniques that leverage the sparsity of the solutions. Practical benefits are demonstrated on toy datasets, realistic simulated data and real neuroimaging data.

研究动机与目标

• 解决标准Lasso估计器需已知噪声水平的局限性，尤其在具有相关性或重复测量的高维设置下。
• 克服M/EEG数据中对重复测量进行平均处理所导致的统计效率低下问题，避免丢失宝贵信息并避免噪声建模失真。
• 开发一种凸优化、可高效求解的估计器，用于在复杂噪声结构下联合估计回归系数与噪声共标准差。
• 通过利用所有可用重复测量而不进行平均，实现神经影像学源定位中鲁棒的支持识别。
• 提供一种可扩展、开源的解决方案，用于具有非独立同分布噪声的高维多任务回归，基于真实与模拟数据进行验证。

提出的方法

• 提出CLaR作为共轭估计器，通过平滑的多变量平方根Lasso公式，联合优化回归系数与噪声共标准差矩阵。
• 对核范数应用Moreau-Yosida平滑，将非光滑、类非凸问题转化为可使用邻近块坐标下降法求解的光滑凸优化问题。
• 对多变量平方根Lasso实施部分平滑，以保持凸性，同时通过邻近算子实现高效计算。
• 将目标函数表述为最小化问题，平衡数据保真度（基于噪声共标准差的平滑核范数）与稀疏性（通过系数的ℓ1惩罚）。
• 实现基于对偶间隙的安全停止准则，确保收敛性并具备理论保证，同时与启发式停止规则进行性能比较。
• 利用面向稀疏解的先进优化技术，实现对大规模神经影像数据集（如n=102, p=7498, q=76）的可扩展性。

实验结果

研究问题

• RQ1 是否可通过使用所有重复测量而非平均数据的共轭估计器，提升高维多任务回归中的支持识别性能？
• RQ2 通过核范数逼近平滑多变量平方根Lasso，对相关噪声下估计精度与计算效率有何影响？
• RQ3 在重复测量有限的情况下，CLaR是否在识别M/EEG数据中真实脑源方面优于现有估计器（如SGCL、多任务Lasso和ℓ2,1-MLE）？
• RQ4 凸平滑优化框架是否能有效处理神经影像数据中的复杂噪声结构，同时保持理论收敛保证？
• RQ5 在噪声方差高且非平稳的条件下，使用所有重复测量对源定位鲁棒性有何影响？

主要发现

• 在具有56次重复的真实M/EEG数据中，CLaR在100%的试验中成功识别出双侧听觉皮层源，而仅ℓ2,1-MLER与MTL在部分情况下成功。
• 当重复次数减少至33次时，CLaR仍保持鲁棒性，正确识别出每侧听觉皮层的一个源，而所有其他估计器均未能识别出正确源。
• 在左眼视觉刺激任务中，71次重复下，CLaR与ℓ2,1-MLER正确识别出右半球的源，而其他方法失败。
• 在右眼视觉刺激任务中仅31次重复时，CLaR是唯一正确识别出左半球源的方法，展现出在小样本条件下的卓越鲁棒性。
• CLaR在10秒内即实现安全收敛，超越启发式停止准则，而SGCL需超过10分钟才能达到相同的对偶间隙容差。
• 在模拟数据中，CLaR在支持恢复与错误发现率方面优于SGCL及其他基线估计器，尤其在高噪声与相关性设置下表现更优。