[論文レビュー] Implicit differentiation for fast hyperparameter selection in non-smooth convex learning

Quentin Bertrand, Quentin Klopfenstein+5 more|arXiv (Cornell University)|May 4, 2021

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、非滑らかな凸学習問題における1次ハイパーパrameter最適化手法を提案し、implicit differentiation（陰関数微分）を用いてハイパーグラデントを効率的に計算する。前向きモード微分による近似アルゴリズムの収束が真のヤコビ行列に収束することを示し、特に高次元のハイパーパrameter空間において、ゼロ次手法に比べて顕著な計算上の高速化を達成する。

ABSTRACT

Finding the optimal hyperparameters of a model can be cast as a bilevel optimization problem, typically solved using zero-order techniques. In this work we study first-order methods when the inner optimization problem is convex but non-smooth. We show that the forward-mode differentiation of proximal gradient descent and proximal coordinate descent yield sequences of Jacobians converging toward the exact Jacobian. Using implicit differentiation, we show it is possible to leverage the non-smoothness of the inner problem to speed up the computation. Finally, we provide a bound on the error made on the hypergradient when the inner optimization problem is solved approximately. Results on regression and classification problems reveal computational benefits for hyperparameter optimization, especially when multiple hyperparameters are required.

研究の動機と目的

• Lasso やスパースロジスティック回帰などの非滑らかな凸学習問題におけるハイパーパrameter選定の課題に対処すること。
• 高次元のハイパーパrameter空間において、ゼロ次手法の計算非効率性を克服すること。
• 非滑らかさにもかかわらず、陰関数微分を活用して正確なハイパーグラデントを計算する1次アプローチを開発すること。
• 内側問題が近似的に解かれた場合のハイパーグラデント誤差に対する理論的バインディングを提供すること。
• 回帰および分類タスクにおいて、複数のハイパーパrameterを有する状況で、本手法のスケーラビリティと有効性を実証すること。

提案手法

• 内側問題が非滑らかであっても、バイレベル最適化におけるハイパーグラデント ∇λℒ(λ) を陰関数微分を用いて計算する。
• 近似勾配降下法および座標降下法に前向きモード微分を適用し、ヤコビ行列列が真のヤコビ行列に収束することを示す。
• 内側問題の非滑らかさを活用して、陰関数微分によるハイパーグラデント計算の高速化を実現する。
• 内側最適化が近似的に解かれた場合のハイパーグラデント誤差に対する理論的バインディングを導出する。
• Lasso、エラスティックネット、SVM、およびクラス別正則化を施した多クラスロジスティック回帰に対して、本手法を実装および評価する。
• 外側の検証に多クラス交差エントロピー基準を用い、1次手法とゼロ次ベースライン（SMBO、ランダムサーチ）を比較する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかな凸最適化問題において、陰関数微分がハイパーグラデントの計算に効果的に適用可能であるか？
• RQ2 近似アルゴリズムの前向きモード微分が、非滑らか設定下での真のハイパーグラデントとどのように関係するか？
• RQ3 ハイパーパラメータ数が増加する際、1次ハイパーパラメータ最適化がゼロ次手法に比べてどの程度の計算上の利点を示すか？
• RQ4 内側問題が近似的に解かれた場合、ハイパーグラデント推定値の精度はどの程度で、その誤差はバインディング可能か？
• RQ5 本手法は、多クラスロジスティック回帰における1クラスあたり1つのハイパーパラメータを有するような、ハイパーパラメータ数が多数ある問題に対しても、効果的にスケーリング可能か？

主な発見

• 近似勾配降下法および座標降下法における前向きモード微分は、非滑らかな凸問題において、真のハイパーグラデントに収束するヤコビ行列列を生成する。
• 特にハイパーパラメータ数が多い場合に顕著な計算上の高速化を達成し、ゼロ次手法に比べて顕著な性能向上を示す。
• 1000クラス（aloiデータセット）の多クラスロジスティック回帰において、ゼロ次手法はハイパーパラメータ空間の高次元性のため失敗するが、1次手法は成功する。
• 中程度のハイパラメータ数（例：MNISTで10クラス）のデータセットでは、1次手法はSMBOやランダムサーチを同等または上回る性能を示す。
• 内側問題が近似的に解かれた場合のハイパーグラデント誤差に対する理論的バインディングは、近似ソルバを用いた実用的応用を支持する。
• Lasso、SVM、非滑らかな正則化を伴う一般化線形モデルを含む、さまざまなモデルにおいて、本手法はスケーラブルかつ有効である。