[論文レビュー] Inv-ASKIT: A Parallel Fast Diret Solver for Kernel Matrices

Chenhan D. Yu, William B. March+2 more|arXiv (Cornell University)|Feb 3, 2016

Stochastic Gradient Optimization Techniques参考文献 19被引用数 4

ひとこと要約

Inv-ASKIT は、ASKIT を用いた行列近似により階層的低ランク構造を活用することで、$ olimits\mathcal{O}(N\log N)$ の解法を実現する、カーネル行列向けの並列高速直接解法である。因子分解に $ olimits\mathcal{O}(N\log^2 N)$ を要し、4,096 コアにスケーリング可能であり、高次元データにおける 32M×32M 行列を処理し、ピーク FLOPS の最大 50% を達成する。これは従来手法と比較して複数桁の改善を示している。

ABSTRACT

We present a parallel algorithm for computing the approximate factorization of an $N$-by-$N$ kernel matrix. Once this factorization has been constructed (with $N \log^2 N $ work), we can solve linear systems with this matrix with $N \log N $ work. Kernel matrices represent pairwise interactions of points in metric spaces. They appear in machine learning, approximation theory, and computational physics. Kernel matrices are typically dense (matrix multiplication scales quadratically with $N$) and ill-conditioned (solves can require 100s of Krylov iterations). Thus, fast algorithms for matrix multiplication and factorization are critical for scalability. Recently we introduced ASKIT, a new method for approximating a kernel matrix that resembles N-body methods. Here we introduce INV-ASKIT, a factorization scheme based on ASKIT. We describe the new method, derive complexity estimates, and conduct an empirical study of its accuracy and scalability. We report results on real-world datasets including "COVTYPE" ($0.5$M points in 54 dimensions), "SUSY" ($4.5$M points in 8 dimensions) and "MNIST" (2M points in 784 dimensions) using shared and distributed memory parallelism. In our largest run we approximately factorize a dense matrix of size 32M $ imes$ 32M (generated from points in 64 dimensions) on 4,096 Sandy-Bridge cores. To our knowledge these results improve the state of the art by several orders of magnitude.

研究の動機と目的

• 高次元設定における密行列のカーネル行列のスケーラビリティと悪条件性の課題に対処すること。標準的な直接解法および反復解法は、この文脈では計算コストが非常に高いため不適切である。
• 大規模かつ高次元のデータセットに定義されたカーネル行列に対して、$ olimits\mathcal{O}(N\log N)$ の解法時間と $ olimits\mathcal{O}(N\log^2 N)$ の因子分解コストを達成する並列的直接解法の開発。
• 共有メモリおよび分散メモリ並列処理をサポートするカーネル行列の因子分解および逆行列計算を実現し、可変帯域幅および非対称な場合を含む広範なカーネルに適応可能にすること。
• COVTYPE、SUSY、MNIST などの実世界のデータセットにおいて、高い精度と強いスケーラビリティを示し、極めて大規模なスケール（例：32M×32M 行列）でも有効であることを実証すること。
• GMRES などの反復解法のためのプリコンディショナーとしての提供により、カーネルベースの機械学習応用における収束速度を著しく向上させること。

提案手法

• 本手法は ASKIT を用いてカーネル行列 $K$ をブロック対角行列、低ランク行列、およびスパース行列 ($S$) に分解し、階層的低ランク近似を可能にする。
• シューマン＝モリソン＝ウッドベリーの公式を再帰的に適用することで、$\lambda I + K$ の逆行列を、ブロック対角成分と低ランク成分を別々に逆行列化することにより、全体の計算量を削減する。
• 空間的近接性とカーネルの減衰に基づく階層的ツリー構造を用いることで、$\mathcal{O}(N\log^2 N)$ 時間で因子分解を実行する。
• 共有メモリおよび分散メモリ並列処理をサポートし、動的負荷分散と通信を回避するデータレイアウトを採用することで、オーバーヘッドを最小限に抑える。
• 反復解法の文脈では、Inv-ASKIT をプリコンディショナーとして使用し、$\tilde{K}$ の逆行列を初期推定値として適用することで、GMRES の収束を加速する。
• 各カーネルエントリの評価に $ olimits\mathcal{O}(d)$ 時間しか必要としないため、高次元入力空間に対しても適している。

実験結果

リサーチクエスチョン

• RQ1 カーネル行列向けの直接解法は、高次元データにおいても高い精度を維持しつつ、$ olimits\mathcal{O}(N\log N)$ の解法時間を達成できるか？
• RQ2 階層的低ランク行列近似は、共有メモリおよび分散メモリシステムの両方で、密行列のスケーラブルかつ並列な因子分解と逆行列計算を可能にするか？
• RQ3 GMRES にプリコンディショナーとして使用した場合、Inv-ASKIT はカーネルリッジ回帰の文脈で Krylov 反復法と比較して、精度および収束速度で優れているか？
• RQ4 極大スケールのデータセット（例：32M×32M 行列）および大規模コア数（例：4,096 コア）において、Inv-ASKIT の実用的スケーラビリティはどの程度か？
• RQ5 本手法は、対称性の仮定を必要とせず、可変帯域幅および非対称カーネルに対しても処理可能か？

主な発見

• Inv-ASKIT は 4,096 コアで 32M×32M のカーネル行列を要因分解し、ピーク FLOPS の最大 50% の性能を達成した。これは、従来の最先端手法と比較して複数桁の改善を示している。
• COVTYPE データセット（54次元の 0.5M 点）では、$\tilde{K}$ を用いて 96% の分類精度を達成し、最近傍探索のスパース補正 $S$ を組み込むと 97% に向上した。
• SUSY データセット（8次元の 4.5M 点）では 79% の精度を達成し、MNIST（784次元の 2M 点）ではカーネル回帰タスクで 100% の精度を達成した。
• GMRES にプリコンディショナーとして使用した場合、複数の実験で反復回数を 100 回から 0 回（即時収束）にまで削減し、高い精度と効果的なプリコンディショニングを示した。
• 弱スケーリング実験では、4,096 コアにわたっても高い効率を維持し、通信コストと計算コストが有利にスケーリングした。
• 非プリコンディショニングの GMRES と比較して、2〜3倍の高速化を達成し、合成データおよび実世界のデータセットにおいて強いスケーラビリティを示した。