[論文レビュー] Accelerated Stochastic Matrix Inversion: General Theory and Speeding up BFGS Rules for Faster Second-Order Optimization

Robert M. Gower, Filip Hanzely+2 more|arXiv (Cornell University)|Feb 12, 2018

Stochastic Gradient Optimization Techniques参考文献 22被引用数 16

ひとこと要約

本稿では、ユークリッド空間における確率的行列逆行列化のための最初の加速されたランダム化アルゴリズムを提案する。収束を高速化しながら正定値性を維持できる。この手法を応用して、加速された確率的および決定的BFGS更新を構築し、数値実験で顕著な高速化を達成した。特に、最適化パラメータを調整した座標スケッチでは顕著な性能向上が得られた。

ABSTRACT

We present the first accelerated randomized algorithm for solving linear systems in Euclidean spaces. One essential problem of this type is the matrix inversion problem. In particular, our algorithm can be specialized to invert positive definite matrices in such a way that all iterates (approximate solutions) generated by the algorithm are positive definite matrices themselves. This opens the way for many applications in the field of optimization and machine learning. As an application of our general theory, we develop the {\em first accelerated (deterministic and stochastic) quasi-Newton updates}. Our updates lead to provably more aggressive approximations of the inverse Hessian, and lead to speed-ups over classical non-accelerated rules in numerical experiments. Experiments with empirical risk minimization show that our rules can accelerate training of machine learning models.

研究の動機と目的

• ユークリッド空間における線形方程式系の解法および正定値行列の逆行列化を、加速されたランダム化アルゴリズムで行う。
• 最適化における使用を安定化させるために、逆行列の反復計算中に正定値性と対称性を維持する。
• 加速された行列逆行列化を準ニュートン法に統合し、より高速な確率的および決定的BFGS更新を実現する。
• 実験を通じて、特定の問題クラスにおいて、加速されたBFGS法が古典的BFGS法よりも収束速度が速いことを示す。
• 一階最適化手法を超えて、Nesterovの加速フレームワークを準ニュートン更新に応用するという、最適化分野における画期的な応用。

提案手法

• 正定値行列 $A$ および $A$ の像に属する $b$ を持つ線形方程式系 $Ax = b$ を解くための、加速されたスケッチ＆プロジェクション法を提案する。
• スケッチ＆プロジェクションフレームワークを行列逆行列化に応用する際、$b = I$ と設定することで、解 $X$ が $AX = I$ を満たし、すなわち $X = A^{-1}$ となるようにする。
• 線形制約を用いて、スケッチ＆プロジェクション反復に、対称性および正定値性の制約を組み込む。
• 行列の条件数および固有値の有界性に基づいて加速パラメータを導出する。最適な収束速度を保証するパrameterizationを用いる。
• 加速された行列逆行列化を、確率的および決定的BFGS法の両方の基本的演算として統合し、標準のヘッセ行列更新ルールに置き換える。
• 逆ヘッセ行列のより積極的な近似を許容する、新しい準ニュートン更新ルールを導入する。これにより収束速度が向上する。

実験結果

リサーチクエスチョン

• RQ1 Nesterov型加速は、特に正定値行列に対して、ユークリッド空間における行列逆行列化に成功裏に適用可能か？
• RQ2 加速された行列逆行列化法は、反復計算中の対称性および正定値性を維持できるか。これにより最適化におけるヘッセ行列近似に適しているか？
• RQ3 加速された行列逆行列化をBFGSに統合することで、確率的および決定的両設定で収束速度が向上するか？
• RQ4 スケッチ戦略（座標、一様、ガウス）の違いが、加速された行列逆行列化およびBFGS法の性能にどのように影響するか？
• RQ5 どのような問題条件下で加速が顕著な高速化をもたらし、逆に改善が微小になるか？

主な発見

• 提案された加速されたスケッチ＆プロジェクション法は、適切に調整されたパラメータを用いた座標スケッチでは、非加速バージョンよりも収束が速い。
• 便利な確率または一様確率を用いた座標スケッチでは、加速法が非加速法を顕著に上回る。これは、スケッチ戦略およびパラメータ調整に強く依存していることを示している。
• ガウススケッチでは、加速法と非加速法の性能差が小さくなり、加速効果がスケッチ分布が問題構造と整合する場合に最も顕著であることが示唆された。
• 最小固有値 $\lambda_{\min}(A)$ が未知の場合、$\mu = \frac{1}{100\nu}$ または $\frac{1}{10000\nu}$ を選ぶと、非加速法と同等の性能になるため、パラメータ選択に敏感であることが判明した。
• 経験的リスク最小化の実験では、加速BFGS法は反復がより高価であるにもかかわらず、標準BFGS法よりも収束が速く、時間的解決速度の向上が実証された。
• madelon、covtype、a9a などの特定のデータセットでは、加速による改善が限定的であり、標準更新がすでに有効な場合、問題の条件付けや構造に依存して改善の余地が小さいことが示された。