[論文レビュー] Krylov Subspace Recycling for Fast Iterative Least-Squares in Machine Learning

Filip de Roos, Philipp Hennig|arXiv (Cornell University)|Jun 1, 2017

Gaussian Processes and Bayesian Inference参考文献 18被引用数 3

ひとこと要約

本稿では、機械学習における反復的最小二乗ソルバーの高速化を目的として、関連する対称正定値線形システムの系列にわたって情報を再利用するKrylov部分空間リサイクルを提案する。低コストで時間とともに低ランク部分空間を適応的に更新することで、データサイズに対して計算コストが二次的に増加するが、固定された低ランク近似法よりも精度に優れ、10⁵〜10⁶データポイントのスケーラビリティを維持する。

ABSTRACT

Solving symmetric positive definite linear problems is a fundamental computational task in machine learning. The exact solution, famously, is cubicly expensive in the size of the matrix. To alleviate this problem, several linear-time approximations, such as spectral and inducing-point methods, have been suggested and are now in wide use. These are low-rank approximations that choose the low-rank space a priori and do not refine it over time. While this allows linear cost in the data-set size, it also causes a finite, uncorrected approximation error. Authors from numerical linear algebra have explored ways to iteratively refine such low-rank approximations, at a cost of a small number of matrix-vector multiplications. This idea is particularly interesting in the many situations in machine learning where one has to solve a sequence of related symmetric positive definite linear problems. From the machine learning perspective, such deflation methods can be interpreted as transfer learning of a low-rank approximation across a time-series of numerical tasks. We study the use of such methods for our field. Our empirical results show that, on regression and classification problems of intermediate size, this approach can interpolate between low computational cost and numerical precision.

研究の動機と目的

• 機械学習における対称正定値線形システムの正確な解法の計算コストがデータサイズに伴い立方的に増加する問題に対処すること。
• 以前の解法から得た情報を再利用することで、反復的ソルバーが関連する問題の系列にわたって適応的になるかどうかを検討すること。
• Krylov部分空間リサイクルが、低コスト近似法と正確なソルバーの間で、速度と正確性の実用的な中間地点を提供するかどうかを評価すること。
• 実際の機械学習ワークロードにおいて、リサイクルに基づく反復的ソルバーと標準的な誘導点法およびスペクトル近似法の性能を比較すること。

提案手法

• 本手法は、以前の解法から得たリツベクトルを再利用することで、以降のシステムにおける収束を加速する反復的Krylov部分空間法である、縮退付き共役勾配法（def-CG）を採用する。
• 以前の解法から得た探索方向の低次元部分空間を維持し、Krylov反復からその部分空間を除去することで、有効な条件数を低減する。
• アルゴリズムは最初のシステムに対して標準的なCG解法で初期化し、その後に計算されたリツベクトルを後続のシステムにおける縮退部分空間として使用する。
• 縮退部分空間は反復ごとに段階的に更新され、完全な再計算なしに低ランク近似を段階的に改善できる。
• 本手法は、ヘッセ行列やカーネル行列が徐々に変化するベイジアンロジスティック回帰およびガウス過程分類の線形システムの系列に適用される。
• CPU時間と相対残差誤差を指標として、標準CGおよび固定された低ランク近似法（例：誘導点）と比較する。

実験結果

リサーチクエスチョン

• RQ1 Krylov部分空間リサイクルは、機械学習における関連する対称正定値線形システムの系列を解く時間を著しく短縮できるか？
• RQ2 リサイクルに基づく反復的ソルバーの正確性は、誘導点のような固定された低ランク近似法と比べてどの程度優れているか？
• RQ3 以前の解法から得た情報を再利用することで、後続のシステムにおける反復回数と有効な条件数はどの程度低減されるか？
• RQ4 リサイクルに基づくソルバーは、計算コストが線形コスト近似法と同等のままで、高精度の解を得られるか？

主な発見

• 縮退付き共役勾配法（def-CG）は、誘導点法よりも精度を6桁以上向上させたが、計算コストの増加はわずかであった。
• データサイズが約10⁵から約10⁶の範囲では、本手法は計算的に実用的であり、実行時間はデータサイズに対して二次的に増加した。
• ニュートン反復の過程で相対残差がより速やかに減少した。これは、再利用された部分空間が有効な条件数を低減し、収束を加速していることを確認した。
• 同等の計算コストにおいて、def-CGはデータの25〜50％を使用した誘導点法よりも、対数尤度の正確性で優れていた。
• 回帰および分類の複数のタスクにおいて一貫した性能向上が確認され、特に最適化ループの後半の反復で顕著であった。
• 本手法は、計算コストと数値的正確性の間で実用的な妥協を提供し、正確なソルバーと固定された低ランク近似法の間の溝を埋めるものであった。