[论文解读] Generalized Concomitant Multi-Task Lasso for sparse multimodal regression

Mathurin Massias, Olivier Fercoq+2 more|arXiv (Cornell University)|May 27, 2017

Sparse and Compressive Sensing Techniques参考文献 4被引用 12

一句话总结

该论文提出了一种平滑广义伴随多任务Lasso（SBHCL），这是一种联合凸优化估计器，通过将伴随Lasso公式与多任务学习相结合，能够同时在多种数据模态（如M/EEG信号）中学习稀疏回归系数和异方差噪声水平。该方法在保持Lasso类计算效率的同时，实现了无需依赖正则化调参的噪声水平估计，从而在多模态神经影像数据上实现了更优的预测性能、支持集恢复以及准确的噪声协方差估计。

ABSTRACT

In high dimension, it is customary to consider Lasso-type estimators to enforce sparsity. For standard Lasso theory to hold, the regularization parameter should be proportional to the noise level, yet the latter is generally unknown in practice. A possible remedy is to consider estimators, such as the Concomitant/Scaled Lasso, which jointly optimize over the regression coefficients as well as over the noise level, making the choice of the regularization independent of the noise level. However, when data from different sources are pooled to increase sample size, or when dealing with multimodal datasets, noise levels typically differ and new dedicated estimators are needed. In this work we provide new statistical and computational solutions to deal with such heteroscedastic regression models, with an emphasis on functional brain imaging with combined magneto- and electroencephalographic (M/EEG) signals. Adopting the formulation of Concomitant Lasso-type estimators, we propose a jointly convex formulation to estimate both the regression coefficients and the (square root of the) noise covariance. When our framework is instantiated to de-correlated noise, it leads to an efficient algorithm whose computational cost is not higher than for the Lasso and Concomitant Lasso, while addressing more complex noise structures. Numerical experiments demonstrate that our estimator yields improved prediction and support identification while correctly estimating the noise (square root) covariance. Results on multimodal neuroimaging problems with M/EEG data are also reported.

研究动机与目标

• 为解决高维多模态回归中异方差噪声的挑战，特别是在神经影像中不同传感器（如MEG、EEG）具有不同噪声水平的情况下。
• 开发一种稀疏回归估计器，能够联合估计回归系数和噪声水平，而无需事先知晓噪声方差。
• 确保计算效率与标准Lasso相当，同时通过凸性与对偶间隙认证，保证全局最优性。
• 通过学习模态特异性噪声尺度，提升真实多模态数据集（如联合M/EEG记录）中的支持集识别与预测性能。

提出的方法

• 提出一种联合凸优化框架，将伴随Lasso扩展至具有模态特异性噪声方差的多任务设置。
• 采用平滑广义伴随公式，通过单个凸问题同时估计回归系数和噪声协方差矩阵的平方根。
• 使用块坐标下降（BCD）结合安全筛选规则与强规则，加速收敛，使计算成本与Lasso相当。
• 引入多任务结构，使每种模态（如梯度计、磁力计、EEG电极）具有独立的噪声水平，实现对异质噪声的灵活建模。
• 推导出回归系数与噪声参数的高效更新规则，确保收敛性并具备对偶间隙认证。
• 通过将方法应用于M/EEG反问题，将传感器类型建模为具有独立噪声尺度的独立任务，提升了鲁棒性与可解释性。

实验结果

研究问题

• RQ1 能否设计一种联合凸稀疏回归估计器，以处理具有不同噪声水平的多种数据模态，同时保持与Lasso相当的计算效率？
• RQ2 联合估计噪声水平与回归系数在多模态、高维数据中如何提升支持集恢复与预测精度？
• RQ3 所提出的估计器在真实M/EEG数据中，对模态特异性噪声标准差的估计准确度如何，特别是在不同传感器类型噪声水平差异显著时？
• RQ4 当应用于具有不同传感器类型信号-噪声比异质性的实际神经影像数据时，该方法是否仍保持鲁棒性与高效性？
• RQ5 在异质性环境下，正则化参数能否独立于噪声水平进行调优，从而简化在不同实验条件下的超参数选择？

主要发现

• 在具有已知真实值的模拟数据上，SBHCL估计器在支持集恢复与预测性能方面优于同方差Lasso与多任务Lasso。
• 该方法能正确估计模态特异性噪声标准差，其估计值随试验次数增加而按预期下降（∝1/√t），在真实M/EEG数据中验证了其一致性。
• SBHCL估计的噪声水平在量级上合理，并表现出预期的缩放行为，证实了对异质噪声结构的准确学习。
• SBHCL的计算成本与标准Lasso相当，得益于高效的BCD求解器与安全筛选规则。
• 在真实M/EEG数据上，该估计器通过学习高信噪比与低信噪比模态之间的适当平衡，实现了稳定且符合生物学意义的源定位结果。
• 正则化参数λ对不同模态间噪声水平变化的敏感性降低，使得在不同实验条件与数据集间进行调优更加简便。