[論文レビュー] Preconditioned Krylov solvers for kernel regression

B. Srinivasan, Qi Hu+3 more|arXiv (Cornell University)|Aug 6, 2014

Gaussian Processes and Bayesian Inference参考文献 22被引用数 6

ひとこと要約

本稿では、核回帰におけるKrylovソルバー向けに、行列の条件数を改善することで収束を加速する、柔軟な新規プリコンディショナーを提案する。高速な核行列-ベクトル積を活用しつつ、地理統計的クリギングで最大3倍の高速化を達成し、多様なデータセットにおいて反復回数と実行時間を顕著に削減する。従来手法に比べ、優れたスケーラビリティと効率性を示している。

ABSTRACT

A primary computational problem in kernel regression is solution of a dense linear system with the $N imes N$ kernel matrix. Because a direct solution has an O($N^3$) cost, iterative Krylov methods are often used with fast matrix-vector products. For poorly conditioned problems, convergence of the iteration is slow and preconditioning becomes necessary. We investigate preconditioning from the viewpoint of scalability and efficiency. The problems that conventional preconditioners face when applied to kernel methods are demonstrated. A \emph{novel flexible preconditioner }that not only improves convergence but also allows utilization of fast kernel matrix-vector products is introduced. The performance of this preconditioner is first illustrated on synthetic data, and subsequently on a suite of test problems in kernel regression and geostatistical kriging.

研究の動機と目的

• 密な核行列の高い条件数が原因で生じる核回帰におけるKrylov法の収束遅延を解消すること。
• 高速な核行列-ベクトル積の効率性を損なわずに収束を改善するプリコンディショナーの開発。
• 特にガウス過程回帰や地理統計的クリギングにおいて、大規模な核回帰問題をスケーラブルかつ効率的に解くこと。
• 実世界の応用に適した、精度と速度のバランスを取ったパラメータ化されたプリコンディショニング戦略の提供。
• 合成データ、標準的な回帰ベンチマーク、大規模な地理空間データセットのすべてにおいて、プリコンディショナーの有効性を実証すること。

提案手法

• Krylovソルバー（例：FGMRES）と効果的に連携できるように設計された、核行列専用の新規柔軟なプリコンディショナーを提案する。
• 内側のプリコンディショナー系を高速に解くために、切り捨てられた共役勾配法（CG）を統合し、高速なMVPのO(N log N)またはO(N²/p)の複雑度を維持する。
• データの内在的幾何構造を反映し、問題サイズに比例してスケーリングするパラメータ化された核ベース構造をプリコンディショナーに採用する。
• 可変のプリコンディショナーを反復ごとに使用できる柔軟なKrylovフレームワーク（例：FGMRES）内にプリコンディショナーを統合し、収束の安定性を維持する。
• 行列-ベクトル演算中にメモリおよび計算オーバーヘッドを低く保つために、オンザフライでの核評価と高速多重極法を活用する。
• 固有値分布と条件数推定に基づく経験則から導かれたルールを用いて、プリコンディショナーのパラメータを最適化する。

実験結果

リサーチクエスチョン

• RQ1 高速な行列-ベクトル積の効率性を損なわずに、核回帰におけるKrylovソルバーの収束を改善できるプリコンディショナーを設計可能か？
• RQ2 大規模で悪条件な核行列において、提案されたプリコンディショナーは、標準的なILUやプリコンディショニングなしの手法と比較してどのように性能を発揮するか？
• RQ3 実世界の地理統計的クリギング応用において、プリコンディショナーは反復回数と総実行時間をどの程度削減するか？
• RQ4 ガウスカーネルやマターンカーネルといった異なるカーネルタイプに対しても、プリコンディショナーは頑健性と効率性を維持できるか？
• RQ5 問題サイズやデータ分布の変化に応じて、精度と速度のバランスを取れるように、プリコンディショナーを効果的にパラメータ化可能か？

主な発見

• 大規模なパシフィック・コーストのクロロフィルクリギング問題において、FGMRESの反復回数は46 ± 12回から3 ± 1回に削減され、3倍の高速化が達成された。
• Censusデータセット（17×22,784）では、プリコンディショニング付きFGMRESが482.50秒（5反復）でシステムを解いた。直接法（1,000秒以上）やCG（663.70秒、83反復）を上回る性能を示した。
• Sarcosロボットアームデータセット（28×44,484）では、新規プリコンディショナーを搭載したFGMRESが1,090.85秒で解を求めるにあたり、わずか4反復で実行され、高次元データにおけるスケーラビリティを示した。
• 非ガウス的マターンカーネル問題では、FGMRESベースのソルバーが、CGやILUプリコンディショニング付きソルバーと比較して、反復回数が少なく、総予測時間が最も短かった（例：Heartでは0.09秒、Diabetesでは0.35秒）。
• すべてのテストケースにおいて、直接ソルバーとの比較で予測誤差が10⁻⁶未満に保たれ、高い精度を維持した。
• 本手法は、合成データ、標準的な機械学習ベンチマーク、実際の地理空間データを含む多様なデータタイプおよびカーネル関数において有効であることが示され、広範な適用可能性が確認された。