[論文レビュー] Solving Empirical Risk Minimization in the Current Matrix Multiplication Time

Yin Tat Lee, Zhao Song+1 more|arXiv (Cornell University)|May 11, 2019

Stochastic Gradient Optimization Techniques参考文献 75被引用数 22

ひとこと要約

本稿では、密度のある重み更新に適した効率的なデータ構造と、頑健な決定的中央路線を導入することで、現在の行列乗算指数に一致する時間で、Empirical Risk Minimization (ERM) を解く、新しい内部点法を提示する。$O^*(n^\rho \log(n/\delta))$ で、$ \rho \approx 2.38$ となる。精度と条件数に対する対数的依存性を達成し、線形計画法や最小二乗法の先行研究を、より広範な凸ERM問題へ一般化する。

ABSTRACT

Many convex problems in machine learning and computer science share the same form: \begin{align*} \min_{x} \sum_{i} f_i( A_i x + b_i), \end{align*} where $f_i$ are convex functions on $\mathbb{R}^{n_i}$ with constant $n_i$, $A_i \in \mathbb{R}^{n_i imes d}$, $b_i \in \mathbb{R}^{n_i}$ and $\sum_i n_i = n$. This problem generalizes linear programming and includes many problems in empirical risk minimization. In this paper, we give an algorithm that runs in time \begin{align*} O^* ( ( n^ω + n^{2.5 - α/2} + n^{2+ 1/6} ) \log (n / δ) ) \end{align*} where $ω$ is the exponent of matrix multiplication, $α$ is the dual exponent of matrix multiplication, and $δ$ is the relative accuracy. Note that the runtime has only a log dependence on the condition numbers or other data dependent parameters and these are captured in $δ$. For the current bound $ω\sim 2.38$ [Vassilevska Williams'12, Le Gall'14] and $α\sim 0.31$ [Le Gall, Urrutia'18], our runtime $O^* ( n^ω \log (n / δ))$ matches the current best for solving a dense least squares regression problem, a special case of the problem we consider. Very recently, [Alman'18] proved that all the current known techniques can not give a better $ω$ below $2.168$ which is larger than our $2+1/6$. Our result generalizes the very recent result of solving linear programs in the current matrix multiplication time [Cohen, Lee, Song'19] to a more broad class of problems. Our algorithm proposes two concepts which are different from [Cohen, Lee, Song'19] : $\bullet$ We give a robust deterministic central path method, whereas the previous one is a stochastic central path which updates weights by a random sparse vector. $\bullet$ We propose an efficient data-structure to maintain the central path of interior point methods even when the weights update vector is dense.

研究の動機と目的

• 一般のEmpirical Risk Minimization (ERM) 問題における実行時間の境界のギャップを埋めること。特定のケースには高速なソルバがあるが、一般の高精度アルゴリズムは存在しない。
• 最近の線形計画法を行列乗算時間で解く結果を、変数ごとの任意の凸制約をもつ、より広範な凸ERM問題のクラスへ拡張すること。
• 滑らかさや強凸性パラメータに多項式的依存を避けるために、精度 $\delta$ および条件数に、対数的依存性を達成する方法を設計すること。
• 従来の確率的アプローチとは異なり、密度のある重み更新を効率的に行える決定的で頑健な中央路線法を設計すること。
• ヘッセ行列や重み更新ベクトルが密度を持つ場合でも、内部点法の効率を維持するため、動的ルート維持のための新規データ構造を用いること。

提案手法

• 従来の研究で用いられる確率的中央路線に代わり、決定的中央路線法を提案し、重みをランダムなスパースベクトルで更新する。
• 重み更新ベクトルが密度を持つ場合でも、内部点法における中央路線を効率的に維持できる新しいデータ構造を導入し、高速なヘッセ行列更新を可能にする。
• 現在知られている最良の行列乗算指数 $\omega \approx 2.38$ と双対指数 $\alpha \approx 0.31$ を用いて、実行時間の上限を導出する。
• 行列-ベクトル積の近似として、$b$次元のランダム射影を用いた確率的スケッチ技術を活用し、カチンチェンの不等式により集中不等式を満たす。
• 和集合の不等式と集中不等式を適用し、高確率で $\|R^\top R h - h\|_\infty \leq \|h\|_2 \cdot \frac{\log(n/\delta)}{\sqrt{b}}$ が成り立つことを示す。
• 中央路線フレームワークと反復的精錬、パスフォロwing戦略を組み合わせ、$\delta$-精度を $O^*(n^\rho \log(n/\delta))$ 時間で達成する。ここで $\rho = \max(\omega, 2.5 - \alpha/2, 2 + 1/6)$ である。

実験結果

リサーチクエスチョン

• RQ1 現在の行列乗算指数に一致する実行時間で、条件数に依存せず、ERM問題を解くことは可能か？
• RQ2 確率的アプローチとは異なり、密度のある重み更新に対しても効率を保つ決定的中央路線法を設計することは可能か？
• RQ3 精度と条件数に、対数的依存性を維持する形で、内部点法における中央路線を維持することは可能か？
• RQ4 高度なデータ構造を用いることで、ERMソルバの実行時間を滑らかさや強凸性パラメータに依存させず、最適化することは可能か？
• RQ5 線形計画法ソルバを、より広範な凸ERM問題へ一般化する際の、最小限の実行時間オーバーヘッドは何か？

主な発見

• アルゴリズムは $O^*(n^\rho \log(n/\delta))$ 時間で実行され、ここで $\rho = \max(\omega, 2.5 - \alpha/2, 2 + 1/6)$ であり、密度のある最小二乗回帰の最良実行時間と一致する。
• 現在の行列乗算境界（$\omega \approx 2.38$, $\alpha \approx 0.31$）を用いると、実行時間は $O^*(n^{2.38} \log(n/\delta))$ に簡略化され、現在の行列乗算時間に達する。
• 精度 $\delta$ および条件数に、対数的依存性を達成しており、滑らかさや強凸性に多項式的依存を避ける。
• 提案されたデータ構造により、密度のある重み更新における効率的なルート維持が可能となり、従来の内部点法における主要なボトル neck を克服する。
• 頑健な決定的中央路線法は、ランダムなスパース更新に依存する確率的対比に比べ、安定性と収束保証を向上させる。
• 最近の線形計画法の $O^*(n^\omega)$ アルゴリズムを、任意の制約次元を持つ凸ERM問題の広いクラスへ一般化した結果である。