[論文レビュー] The gradient complexity of linear regression

Mark Braverman, Elad Hazan+2 more|arXiv (Cornell University)|Nov 6, 2019

Stochastic Gradient Optimization Techniques参考文献 20被引用数 5

ひとこと要約

本稿では、線形回帰および最大固有値固有ベクトルの計算において、任意の確率的アルゴリズムが多項式精度を達成するには、行列-ベクトル積クエリをΩ(d)回必要とすることを確立している。これは高精度領域でも成り立ち、結果はタイトである。なぜなら、Lanczos法によってd回のクエリで十分であるからであり、証明はランダムなワイシャルト行列の最小固有値推定問題への新しい還元に基づいている。

ABSTRACT

We investigate the computational complexity of several basic linear algebra primitives, including largest eigenvector computation and linear regression, in the computational model that allows access to the data via a matrix-vector product oracle. We show that for polynomial accuracy, $Θ(d)$ calls to the oracle are necessary and sufficient even for a randomized algorithm. Our lower bound is based on a reduction to estimating the least eigenvalue of a random Wishart matrix. This simple distribution enables a concise proof, leveraging a few key properties of the random Wishart ensemble.

研究の動機と目的

• 高精度領域における線形回帰および固有ベクトル計算の一次順序法の計算複雑度を理解する上で、ギャップを埋めること。
• 勾配に基づくアルゴリズムが、共役勾配法やLanczos法よりも優れた性能を示せるかどうか、特にデータがスパースな場合にその可能性を検証すること。
• 多項式精度の解を得るために必要な行列-ベクトル積クエリの数に関する情報理論的下界を確立すること。
• スパースネスが存在しても、一次順序法が既存の反復的ソルバーを著しく上回ることはできないことを示すこと。
• ランダムなワイシャルト行列に基づく新しい還元技術を開発し、行列-ベクトルクエリモデルにおける下界を証明すること。

提案手法

• アルゴリズムが行列を行列-ベクトル積オракルのみを通じてアクセスする計算モデルを用い、一次順序法をシミュレートする。
• 最大固有ベクトルの推定問題を、ランダムなワイシャルト行列の最小固有値の推定問題に還元する。
• ワイシャルト集合の性質を用いて、T回のクエリ後、残差部分空間に独立にN(0,1/d)に従う要素が存在することを示す。
• 帰納的推論を用いて、クエリ空間の直交補空間がモデル下で独立同一分布のガウス構造を保つことを示す。
• 残差行列の特異値の二乗がワイシャルト分布に従うことを用いて、固有値の集中限界を導出する。
• ガウス行列の濃度法と独立性の性質を活用し、Ω(d)回未満のクエリでは真の固有ベクトルを区別できないことを証明する。

実験結果

リサーチクエスチョン

• RQ1 線形回帰や最大固有ベクトル計算において、多項式精度の解を得るために必要な最小の行列-ベクトル積クエリ数は何か？
• RQ2 勾配に類似したクエリに基づく一次順序法は、共役勾配法やLanczos法よりも、高精度領域で優れた性能を発揮できるか、特にデータがスパースな場合にその可能性はあるか？
• RQ3 行列-ベクトルクエリモデルにおいて、高精度解を得るために必要なクエリ数に、根本的な情報理論的限界があるか？
• RQ4 線形方程式系の解法や上位固有ベクトルの計算において、一次順序オラクルのみを用いて複雑度を著しく低減できるか？
• RQ5 ランダムなワイシャルト行列の構造は、これらの問題のクエリ複雑度に対してタイトな下界を提供するか？

主な発見

• 多項式精度の下では、行列-ベクトル積クエリの数はΘ(d)が、最大固有ベクトルの計算や線形回帰の解法において必要かつ十分である。
• Ω(d)の下界は、確率的アルゴリズムに対しても成り立ち、ε = 1/poly(d)の高精度領域でも適用可能である。
• 下界はタイトである。なぜなら、Lanczos法がd回のクエリで機械精度まで正確な解を得られるからである。
• 証明は、ランダムなワイシャルト行列の最小固有値を推定する問題への還元に依存しており、これにΩ(d)回のクエリが必要であることが示された。
• T回のクエリ後、クエリ行列の残差部分空間には独立にN(0,1/d)に従う要素が含まれており、高精度を達成するにはTがΩ(d)でなければならない。
• この結果は、一次順序法が、スパースネスを活用しても、共役勾配法やLanczos法のクエリ複雑度を著しく上回ることはできないことを示唆している。