[論文レビュー] Implicit differentiation of Lasso-type models for hyperparameter optimization

Quentin Bertrand, Quentin Klopfenstein+4 more|arXiv (Cornell University)|Feb 20, 2020

Sparse and Compressive Sensing Techniques参考文献 56被引用数 20

ひとこと要約

この論文は、解のスパarsityを活用することで行列逆行列を回避し、スケーラブルな勾配降下によるハイパーパrameter最適化を可能にする、Lasso型モデル向けの効率的な暗黙の前向き微分アルゴリズムを提案する。この手法は、グリッドサーチ、ランダムサーチ、および既存のハイパーパラメータ勾配手法と比較して、特に多くのハイパーパラメータを有する高次元問題において、精度と速度の両面で優れている。

ABSTRACT

Setting regularization parameters for Lasso-type estimators is notoriously difficult, though crucial in practice. The most popular hyperparameter optimization approach is grid-search using held-out validation data. Grid-search however requires to choose a predefined grid for each parameter, which scales exponentially in the number of parameters. Another approach is to cast hyperparameter optimization as a bi-level optimization problem, one can solve by gradient descent. The key challenge for these methods is the estimation of the gradient with respect to the hyperparameters. Computing this gradient via forward or backward automatic differentiation is possible yet usually suffers from high memory consumption. Alternatively implicit differentiation typically involves solving a linear system which can be prohibitive and numerically unstable in high dimension. In addition, implicit differentiation usually assumes smooth loss functions, which is not the case for Lasso-type problems. This work introduces an efficient implicit differentiation algorithm, without matrix inversion, tailored for Lasso-type problems. Our approach scales to high-dimensional data by leveraging the sparsity of the solutions. Experiments demonstrate that the proposed method outperforms a large number of standard methods to optimize the error on held-out data, or the Stein Unbiased Risk Estimator (SURE).

研究の動機と目的

• 正則化パラメータに敏感であるため、Lasso型モデルにおけるハイパーパラメータ選択の課題に対処すること。
• 行列逆行列の計算負荷を回避し、メモリ効率の良いハイパーパラメータに関する解の勾配を計算するスケーラブルで効率的な手法を開発すること。
• グリッドサーチでは非効率となる、多くのハイパーパラメータを有するモデル（例：重み付きLasso）における効果的なハイパーパラメータ最適化を可能にすること。
• 非滑らかでスパースな最適化問題において、自動微分および暗黙微分の代替として、強固で効率的な手法を提供すること。

提案手法

• 本手法は、ブロック座標降下（BCD）の前向き反復微分を用いて、Lasso解のハイパーパラメータに関するヤコビ行列を計算する。
• 回帰係数の計算とヤコビ行列の計算を分離することで、独立して最先端のLassoソルバを活用可能となる。
• Lasso解のスパarsityを活用することで、高次元において計算的に非現実的で数値的に不安定な明示的行列逆行列を回避する。
• 解のアクティブセット（サポート）が特定されると、初期化に依存せずに勾配推定の線形収束を保証する。
• 重み付きLasso（p個のハイパーパラメータを有する）に対しては、局所最適解への収束リスクを低減するため、最初に正則化された最適化問題を解いてハイパーパラメータを初期化する。
• 本手法はアルゴリズム2として実装されており、悪条件な線形系を解く必要なく、効率的な勾配ベースのハイパーパラメータ最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ブロック座標降下の前向き反復微分は、Lasso型問題において真の勾配に収束するか。また、初期化に依存しないか。
• RQ2 特に高次元設定において、行列逆行列を回避して、Lasso解のハイパーパラメータに関するヤコビ行列を効率的に計算できるか。
• RQ3 提案手法は、グリッドサーチ、ランダムサーチ、および既存のハイパーパラメータ勾配手法と比較して、推定誤差と実行時間の両面で優れているか。
• RQ4 グリッドサーチが非効率となるような、多くのハイパーパラメータを有するモデル（例：重み付きLasso）に対しても、スケーラブルか。

主な発見

• 提案手法は、グリッドサーチ、ランダムサーチ、ベイズ最適化と比較して、より低い推定誤差（MSE）を達成し、優れたモデル性能を示した。
• すべてのハイパーパラメータ勾配ベース手法の中で最も高速であり、グリッドサーチと同等の実行時間で、前向き／後向き反復微分よりも顕著に高速であった。
• p個のハイパーパラメータを有する重み付きLassoに対して、非凸性があるにもかかわらず、最適なSUREベース選択に近い推定性能を達成した。
• スパarsityの活用により、高次元問題においても行列逆行列の必要がなく、アルゴリズムは効率的かつ安定したままである。
• 特に解のサポートが小さい場合、速度と数値的安定性の両面で、暗黙微分を上回る性能を示した。
• 重み付きLassoにおける正則化初期化の導入により、局所最適解への収束リスクが低減し、ハイパーパラメータ選択プロセスのロバスト性が向上した。