[论文解读] Implicit differentiation of Lasso-type models for hyperparameter optimization

Quentin Bertrand, Quentin Klopfenstein+4 more|arXiv (Cornell University)|Feb 20, 2020

Sparse and Compressive Sensing Techniques参考文献 56被引用 20

一句话总结

该论文提出了一种针对Lasso型模型的高效隐式前向微分算法，通过利用解的稀疏性避免矩阵求逆，从而实现基于梯度下降的可扩展超参数优化。该方法在准确性和速度方面均优于网格搜索、随机搜索以及现有的超梯度方法，尤其在具有大量超参数的高维问题中表现更优。

ABSTRACT

Setting regularization parameters for Lasso-type estimators is notoriously difficult, though crucial in practice. The most popular hyperparameter optimization approach is grid-search using held-out validation data. Grid-search however requires to choose a predefined grid for each parameter, which scales exponentially in the number of parameters. Another approach is to cast hyperparameter optimization as a bi-level optimization problem, one can solve by gradient descent. The key challenge for these methods is the estimation of the gradient with respect to the hyperparameters. Computing this gradient via forward or backward automatic differentiation is possible yet usually suffers from high memory consumption. Alternatively implicit differentiation typically involves solving a linear system which can be prohibitive and numerically unstable in high dimension. In addition, implicit differentiation usually assumes smooth loss functions, which is not the case for Lasso-type problems. This work introduces an efficient implicit differentiation algorithm, without matrix inversion, tailored for Lasso-type problems. Our approach scales to high-dimensional data by leveraging the sparsity of the solutions. Experiments demonstrate that the proposed method outperforms a large number of standard methods to optimize the error on held-out data, or the Stein Unbiased Risk Estimator (SURE).

研究动机与目标

• 为解决Lasso型模型中超参数选择的挑战，该挑战因对正则化参数的敏感性而变得关键且困难。
• 开发一种可扩展且内存高效的算法，用于计算解关于超参数的梯度，避免矩阵求逆带来的计算负担。
• 为具有大量超参数的模型（如加权Lasso）提供有效的超参数优化方法，这些模型在网格搜索下不可行。
• 为非光滑稀疏优化问题提供一种鲁棒且高效的自动微分与隐式微分的替代方案。

提出的方法

• 该方法使用块坐标下降（BCD）的前向迭代微分计算Lasso解关于超参数的雅可比矩阵。
• 它将回归系数的计算与雅可比矩阵的计算解耦，从而可独立使用最先进的Lasso求解器。
• 该算法利用Lasso解的稀疏性，避免显式矩阵求逆，后者在高维下计算成本过高且数值不稳定。
• 一旦识别出解的活动集（支持集），该方法可确保梯度估计的线性收敛，且与初始化无关。
• 对于具有p个超参数的加权Lasso，首先求解一个正则化优化问题以初始化超参数，从而降低陷入局部极小值的风险。
• 该方法实现为算法2，可在不求解病态线性系统的情况下实现高效的基于梯度的超参数优化。

实验结果

研究问题

• RQ1 块坐标下降的前向迭代微分是否能在Lasso型问题中收敛到真实梯度，且与初始化无关？
• RQ2 能否在不进行矩阵求逆的情况下高效计算Lasso解关于超参数的雅可比矩阵，尤其是在高维设置下？
• RQ3 所提出的方法在估计误差和运行时间方面是否优于标准的超参数优化技术（如网格搜索、随机搜索和现有超梯度方法）？
• RQ4 该方法是否可扩展至具有大量超参数的模型（如加权Lasso），其中网格搜索不可行？

主要发现

• 所提方法的估计误差（MSE）低于网格搜索、随机搜索和贝叶斯优化，表现出更优的模型性能。
• 在所有基于超梯度的方法中，其运行时间最快，与网格搜索相当，且显著快于前向/后向迭代微分。
• 对于具有p个超参数的加权Lasso，尽管目标函数具有非凸性，该方法仍能实现接近基于SURE的最优选择的估计性能。
• 由于稀疏性利用，该算法在高维问题中仍保持高效与稳定，避免了矩阵求逆的需求。
• 在速度和数值稳定性方面，该方法优于隐式微分，尤其在解的支持集较小时表现更优。
• 对加权Lasso采用正则化初始化可降低收敛至局部极小值的风险，从而提升超参数选择过程的鲁棒性。