[論文レビュー] A Continuous-Time View of Early Stopping for Least Squares

Alnur Ali, J. Zico Kolter+1 more|arXiv (Cornell University)|Oct 23, 2018

Sparse and Compressive Sensing Techniques参考文献 23被引用数 15

ひとこと要約

この論文は、勾配フロー（無限小ステップサイズの極限）を分析することで、最小二乗回帰における勾配降下法の連続時間的側面を確立し、$ t = 1/\lambda $ のキャリブレーションのもとで、そのリスクがリッジ回帰のリスクの最大1.69倍であることを証明している。この上限は、すべての $ t \geq 0 $ に対して成り立ち、有限標本において、データに最小限の仮定を置き、ベイズ的意味での予測リスクへと拡張可能であり、推定子の $ \ell_2 $ ノルムでキャリブレーションした際には、実証的にもきわめて密接な一致が観察される。

ABSTRACT

We study the statistical properties of the iterates generated by gradient descent, applied to the fundamental problem of least squares regression. We take a continuous-time view, i.e., consider infinitesimal step sizes in gradient descent, in which case the iterates form a trajectory called gradient flow. Our primary focus is to compare the risk of gradient flow to that of ridge regression. Under the calibration $t=1/λ$---where $t$ is the time parameter in gradient flow, and $λ$ the tuning parameter in ridge regression---we prove that the risk of gradient flow is no less than 1.69 times that of ridge, along the entire path (for all $t \geq 0$). This holds in finite samples with very weak assumptions on the data model (in particular, with no assumptions on the features $X$). We prove that the same relative risk bound holds for prediction risk, in an average sense over the underlying signal $β_0$. Finally, we examine limiting risk expressions (under standard Marchenko-Pastur asymptotics), and give supporting numerical experiments.

研究の動機と目的

• 最小二乗回帰における勾配降下法の統計的性質を、連続時間的視点から理解すること。
• 収束時だけでなく、全パスにわたり勾配フローのリスクをリッジ回帰のリスクと直接比較すること。
• 設計行列 $ X $ に最小限の仮定を置いた有限標本におけるリスクバウンディングを確立すること。
• 真の信号に球面的事前分布を置いた平均（ベイズ）的意味での予測リスクへと比較を拡張すること。
• マーチェンコ＝パストール極限下での漸近的リスク表現を導出し、既知のリッジ結果と比較すること。

提案手法

• 無限小ステップサイズの極限をとることで勾配降下法を勾配フローとしてモデル化し、反復推定値の連続的軌道を導出する。
• スペクトル解析と逆ラプラス変換を用いて、高次元漸近的状況下での勾配フローのベイズリスクの正確な表現を導出する。
• 時間 $ t $ とリッジチューニングパrameter $ \lambda $ の間のキャリブレーション $ t = 1/\lambda $ を確立し、リスクの直接比較を可能にする。
• 有限標本における勾配フローの相対リスクに対する上界を証明し、それがリッジリスクの1.69倍を超えないことを示す。
• マーチェンコ＝パストール漸近的状況下での勾配フローの極限リスク表現を導出し、極限スペクトル分布のステイリージェス変換を用いる。
• 多様な特徴分布と設計行列を用いた数値実験を実施し、理論的バウンディングの妥当性を検証するとともに、勾配フローとリッジリスクの間の密接な一致を観察する。

実験結果

リサーチクエスチョン

• RQ1 データモデルに最小限の仮定を置いた場合、勾配フローの推定リスクは、全パスにわたりリッジ回帰のリスクとどのように比較されるか？
• RQ2 有限標本において、勾配フローのリスクはリッジ回帰のリスクに対してどのようにバウンド可能であり、その最もタイトなバウンディングは何か？
• RQ3 同じ相対リスクバウンディングは、特に真の信号分布の平均（ベイズ）的意味で定義される予測リスクに対しても成り立つか？
• RQ4 マーチェンコ＝パストール極限下で、勾配フローとリッジ回帰の漸近的リスクはどのように比較されるか？ そして、これらの表現は正確か？
• RQ5 なぜ、推定子の $ \ell_2 $ ノルムでキャリブレーションした際には、勾配フローとリッジリスクの間の実証的一致が、$ t=1/\lambda $ キャリブレーションよりもきわめて密接になるのか？

主な発見

• 設計行列 $ X $ にいかなる仮定も置かない状態で、$ t = 1/\lambda $ のキャリブレーションのもと、勾配フローの推定リスクはすべての $ t \geq 0 $ に対してリッジ回帰のリスクの最大1.69倍である。
• 同じキャリブレーションのもとで、インサンプル予測リスクに対しても、同じ相対リスクバウンディング1.69が成り立つ。
• アウトオブサンプル予測リスクに対しては、真の信号 $ \beta_0 $ に球面的事前分布を置いた平均（ベイズ）的意味で、相対リスクは1.69でバウンドされる。
• 両手法が最適にチューニングされた場合、推定、インサンプル、アウトオブサンプルの全リスクにおいて、勾配フローの相対リスクは1から1.22の間である。
• 数値実験では、推定子の $ \ell_2 $ ノルムでキャリブレーションした際、勾配フローとリッジのリスク曲線がほぼ同一であり、最大比が1.0050に留まる。
• 勾配フローの理論的漸近的リスク表現は、漸近的に正確であり、有限標本結果に急速に収束し、シミュレーションにおいて実証的・理論的曲線は区別がつかない。