[論文レビュー] Leverage Score Sampling for Faster Accelerated Regression and ERM

Naman Agarwal, Sham M. Kakade+4 more|arXiv (Cornell University)|Nov 22, 2017

Stochastic Gradient Optimization Techniques参考文献 9被引用数 8

ひとこと要約

この論文は、最小二乗回帰および経験的リスク最小化（ERM）問題を解く際に、収束を高速化するための新しい回帰アルゴリズムを提示する。リッジスコアサンプリングを活用することで、リッジスコアが小さい場合には、先行研究の境界を上回る性能を達成する。この手法は、リッジスコアサンプリングとプロキシマルポイント法、加速座標降下法を組み合わせることで、$\widetilde{O}((n + \sqrt{d \cdot \kappa_{\text{sum}}}) \cdot s \cdot \log \epsilon^{-1})$ の実行時間を得る。

ABSTRACT

Given a matrix $\mathbf{A}\in\mathbb{R}^{n imes d}$ and a vector $b \in\mathbb{R}^{d}$, we show how to compute an $ε$-approximate solution to the regression problem $ \min_{x\in\mathbb{R}^{d}}\frac{1}{2} \|\mathbf{A} x - b\|_{2}^{2} $ in time $ ilde{O} ((n+\sqrt{d\cdotκ_{ ext{sum}}})\cdot s\cdot\logε^{-1}) $ where $κ_{ ext{sum}}=\mathrm{tr}\left(\mathbf{A}^{ op}\mathbf{A} ight)/λ_{\min}(\mathbf{A}^{T}\mathbf{A})$ and $s$ is the maximum number of non-zero entries in a row of $\mathbf{A}$. Our algorithm improves upon the previous best running time of $ ilde{O} ((n+\sqrt{n \cdotκ_{ ext{sum}}})\cdot s\cdot\logε^{-1})$. We achieve our result through a careful combination of leverage score sampling techniques, proximal point methods, and accelerated coordinate descent. Our method not only matches the performance of previous methods, but further improves whenever leverage scores of rows are small (up to polylogarithmic factors). We also provide a non-linear generalization of these results that improves the running time for solving a broader class of ERM problems.

研究の動機と目的

• 条件数 $\kappa_{\text{sum}}$ が大きい場合に、大規模な最小二乗回帰およびERM問題を解く際の計算ボトルネックを解消すること。
• 行のリッジスコアが小さい場合に、$\sqrt{n \cdot \kappa_{\text{sum}}}$ に依存する既存手法の限界を克服すること。
• 構造化されたサンプリングと加速を用いて、$n$ および $\kappa_{\text{sum}}$ に対する依存性を改善した、より高速な反復的アルゴリズムを構築すること。
• 非線形ERM問題への拡張により、線形回帰を超えた応用範囲を広げること。

提案手法

• リッジスコアに比例する確率分布を用いて、条件数を低減し収束を加速する前提付き部分問題を構築する。
• プロキシマルポイント法を用いて、元の回帰問題を条件数が改善されたより簡単な部分問題の系列に変換する。
• 各部分問題をスパarsity $s$ および効果的次元数に依存する時間で効率的に解くために、加速座標降下法を統合する。
• 収束速度の境界を定めるための主要な正則化パラメータとして、総条件数 $\kappa_{\text{sum}} = \mathrm{tr}(\mathbf{A}^T\mathbf{A}) / \lambda_{\min}(\mathbf{A}^T\mathbf{A})$ を用いる。
• 安定かつ高速な収束を保証するため、リッジスコアに比例する確率分布を用いて行のサンプリングを行う。
• 変換空間における滑らかさと勾配分散を分析するため、$\mathbf{A}^T\mathbf{A}$-ノルムによる基底の変更を用いる。

実験結果

リサーチクエスチョン

• RQ1 リッジスコアサンプリングを用いることで、従来の境界を超えて、加速回帰アルゴリズムにおける $n$ への依存性を低減できるか？
• RQ2 行のリッジスコアが小さい場合でも、$\kappa_{\text{sum}}$ が大きくても、提案手法がより高速な収束を達成できるか？
• RQ3 このフレームワークを非線形ERM問題に一般化でき、改善された実行時間保証を維持できるか？
• RQ4 サンプリングに基づく前提付き処理の文脈において、プロキシマルポイント法と加速座標降下法の組み合わせが収束をどのように改善するか？
• RQ5 有効条件数を最小化し収束を加速する最適なサンプリング分布は何か？

主な発見

• 提案手法は、$\widetilde{O}((n + \sqrt{d \cdot \kappa_{\text{sum}}}) \cdot s \cdot \log \epsilon^{-1})$ の実行時間を得る。これは、従来の最良境界 $\widetilde{O}((n + \sqrt{n \cdot \kappa_{\text{sum}}}) \cdot s \cdot \log \epsilon^{-1})$ よりも改善されている。
• リッジスコアが小さい場合には、$\sqrt{d \cdot \kappa_{\text{sum}}}$ に依存するため、$\sqrt{n \cdot \kappa_{\text{sum}}}$ に依存する従来手法よりも厳密に強い改善が達成される。
• 低行リッジスコアの設定において、先行の最先端アルゴリズムと同等の性能を達成するが、明示的な改善が保証される。
• 解析により、前提付き空間における期待勾配ノルムが $O(1/m)$ で減少することが示され、加速を伴う線形収束が保証される。
• ヘッセ行列構造に類似したサンプリングと加速技術を適用することにより、フレームワークは非線形ERM問題に一般化可能である。
• 証明は、$\mathbf{A}^T\mathbf{A}$-ノルムにおける新しい基底変換と滑らかさ解析に依存しており、有効滑らかさパラメータが $\sum_j \tau_j \cdot M$ で有界であることを示している。