[論文レビュー] Newton-Stein Method: An optimization method for GLMs via Stein's Lemma

Murat A. Erdogdu|arXiv (Cornell University)|Nov 28, 2015

Stochastic Gradient Optimization Techniques参考文献 26被引用数 4

ひとこと要約

本稿では、$n \gg p \gg 1$ の設定における一般化線形モデル（GLMs）のための、新しい最適化アルゴリズムであるニュートン・スティーン法（NewSt）を提案する。スティーンの補題を用いて部分標本を用いて曲率を推定し、固有値のしきい値処理を施すことにより、反復ごとのコストを $\mathcal{O}(np^2 + p^3)$ から $\mathcal{O}(np + p^2)$ に削減しつつ、初期段階では2次収束、最適解に近づくと線形収束を達成する高速な収束を実現する。一回の部分標本抽出コストは発生するが、その他のコストは大幅に削減される。

ABSTRACT

We consider the problem of efficiently computing the maximum likelihood estimator in Generalized Linear Models (GLMs) when the number of observations is much larger than the number of coefficients ($n \gg p \gg 1$). In this regime, optimization algorithms can immensely benefit from approximate second order information. We propose an alternative way of constructing the curvature information by formulating it as an estimation problem and applying a Stein-type lemma, which allows further improvements through sub-sampling and eigenvalue thresholding. Our algorithm enjoys fast convergence rates, resembling that of second order methods, with modest per-iteration cost. We provide its convergence analysis for the general case where the rows of the design matrix are samples from a sub-gaussian distribution. We show that the convergence has two phases, a quadratic phase followed by a linear phase. Finally, we empirically demonstrate that our algorithm achieves the highest performance compared to various algorithms on several datasets.

研究の動機と目的

• 大規模なGLM最適化において $n \gg p \gg 1$ の条件下で、2次勾配法の計算上のボトル neck を解消すること。
• ニュートン型手法の高速収束を維持しつつ、計算が可能である曲率推定法を開発すること。
• 正確なヘッセ行列の計算を部分標本化されたスティーン型の曲率推定に置き換えることにより、ヘッセ行列に基づく手法の反復ごとのコストを低減すること。
• 大規模なデータセットに適した低コストの反復複雑性を維持しつつ、ニュートン法に類似した収束レートを達成すること。

提案手法

• ニュートン型更新におけるスケーリング行列 $\mathbb{Q}$ の構築を統計的推定問題に再定式化する。
• スティーンの補題を適用して、部分標本データを用いた曲率行列の不偏推定量を導出する。これにより、計算が効率的に行える。
• 部分標本化を用いて曲率推定のコストを低減し、部分ガウス設計の仮定の下で理論的保証を提供する。
• 推定された曲率行列の数値的安定性を向上させるために固有値のしきい値処理を組み込む。
• 反復更新ルール $\beta \leftarrow \beta - \gamma \mathbb{Q} \nabla_\beta \ell(\beta)$ を設計する。ここで $\mathbb{Q}$ は推定された逆曲率行列である。
• 収束境界 $\|\hat{\beta}^{t+1} - \beta_*\|_2 \leq \tau_1 \|\hat{\beta}^t - \beta_*\|_2 + \tau_2 \|\hat{\beta}^t - \beta_*\|_2^2$ を確立し、2段階の収束（2次収束の後、線形収束）を示す。

実験結果

リサーチクエスチョン

• RQ1 ヘッセ行列の計算の全コストを負担せずに、部分標本化とスティーンの補題を用いてGLM最適化における曲率情報を効率的に推定できるか？
• RQ2 提案されたニュートン・スティーン法は、大規模なGLM設定において、1次勾配法や準ニュートン法よりも高速に収束するか？
• RQ3 ニュートン・スティーン法の理論的収束挙動は何か？ 2次収束から線形収束への2段階的収束（望ましい挙動）を示すか？

主な発見

• ニュートン・スティーン法は、反復ごとのコストを $\mathcal{O}(np + p^2)$ に抑え、標準的なニュートン法の $\mathcal{O}(np^2 + p^3)$ のコストと比べて顕著に削減した。
• 本手法は2段階の収束を示す：初期段階では2次収束、最適解に近づくと線形収束となる。
• 理論的分析により、収束は $\|\hat{\beta}^{t+1} - \beta_*\|_2 \leq \tau_1 \|\hat{\beta}^t - \beta_*\|_2 + \tau_2 \|\hat{\beta}^t - \beta_*\|_2^2$ という境界によって支配され、2段階の収束挙動が裏付けられた。
• 実験的結果により、勾配降下法、BFGS、自然勾配法といった標準的手法よりも、4つの実世界データセットにおいて収束速度と精度の両面で優れた性能を示した。
• 部分標本化と固有値のしきい値処理の使用により、特に $n$ が大きく次元が高次元の状況下でも、曲率推定のロバスト性と安定性が向上した。
• 部分ガウス設計の仮定の下で強い理論的保証を維持しており、収束係数 $\tau_1$ と $\tau_2$ は部分標本サイズと固有値の減衰に依存する。