[論文レビュー] Implicit regularization via hadamard product over-parametrization in high-dimensional linear regression

Peng Zhao, Yun Yang+1 more|arXiv (Cornell University)|Mar 22, 2019

Sparse and Compressive Sensing Techniques参考文献 29被引用数 19

ひとこと要約

本稿では、高次元線形回帰における勾配降下法によるimplicit regularisationを、Hadamard積による過パラメータ化を用いて実現することを提案する。非凸性にもかかわらず、初期値を小さくし、早期停止を行うことで、明示的なペナルティ項によるバイアスなしに、ほぼスパースでレート最適な解に収束し、精度において明示的正則化を上回る。

ABSTRACT

We consider Hadamard product parametrization as a change-of-variable (over-parametrization) technique for solving least square problems in the context of linear regression. Despite the non-convexity and exponentially many saddle points induced by the change-of-variable, we show that under certain conditions, this over-parametrization leads to implicit regularization: if we directly apply gradient descent to the residual sum of squares with sufficiently small initial values, then under proper early stopping rule, the iterates converge to a nearly sparse rate-optimal solution with relatively better accuracy than explicit regularized approaches. In particular, the resulting estimator does not suffer from extra bias due to explicit penalties, and can achieve the parametric root-$n$ rate (independent of the dimension) under proper conditions on the signal-to-noise ratio. We perform simulations to compare our methods with high dimensional linear regression with explicit regularizations. Our results illustrate advantages of using implicit regularization via gradient descent after over-parametrization in sparse vector estimation.

研究の動機と目的

• Hadamard積による過パラメータ化が、高次元線形回帰においてimplicit regularisationを誘発できるかどうかを調査すること。
• この過パラメータ化スキーム下での勾配降下法の収束特性を分析すること。
• スパarsityと推定精度の観点から、得られる推定量の性能を明示的正則化手法と比較すること。
• 次元に依存しないパラメトリックなroot-nレートを達成するための条件を確立すること。
• 正則化回帰における明示的ペナルティ項が引き起こすバイアスを回避できることを示すこと。

提案手法

• 論文は、最小二乗問題における変数変換としてHadamard積パラメータ化を採用し、過パラメータ化を導入する。
• 再パラメータ化された定式化下で、残差平方和に対して勾配降下法を直接適用する。
• スパースな解への収束を保証するため、初期値を小さくする。
• 過学習を防ぎ、推定精度を維持するために、早期停止ルールを適用する。
• 収束性とレート最適性を導出するために、信号対雑音比に関する条件下で理論的分析を実施する。
• シミュレーションを通じて、明示的正則化技術と本手法を実証的に比較する。

実験結果

リサーチクエスチョン

• RQ1 Hadamard積による過パラメータ化は、高次元線形回帰においてimplicit regularisationを誘発できるか？
• RQ2 小さな初期値と早期停止を伴う勾配降下法は、このパラメータ化下でほぼスパースな解をもたらすか？
• RQ3 適切な信号対雑音比条件下で、得られる推定量が次元に依存せずパラメトリックなroot-nレートを達成できるか？
• RQ4 推定精度とスパarsityの観点から、このimplicit regularisation手法は明示的正則化と比べてどのように性能を発揮するか？
• RQ5 この手法は、正則化回帰における明示的ペナルティ項が引き起こすバイアスを回避できるか？

主な発見

• 問題が非凸であり、指数的多数の鞍点を有するにもかかわらず、implicit regularisationによりほぼスパースな解が得られる。
• 適切な早期停止と小さな初期値のもとで、反復計算はレート最適な解に収束し、パラメトリックなroot-nレートを達成する。
• LassoやRidgeのような明示的正則化手法に内在する追加バイアスを回避する。
• シミュレーションにより、高次元設定下で本手法が推定精度において明示的正則化を上回ることが示された。
• パラメトリックなroot-nレートが達成可能な信号対雑音比に関する理論的条件が同定された。
• 本手法は高次元性に対してロバストであり、特徴量の数に依存しない最適な収束レートを維持する。