[論文レビュー] Structured Block Basis Factorization for Scalable Kernel Matrix Evaluation.

Ruoxi Wang, Yingzhou Li+2 more|arXiv (Cornell University)|May 3, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用数 5

ひとこと要約

本稿では、幅広いカーネルパラメータ範囲においてカーネル行列評価の時間計算量と記憶容量を $Θ(n)$ に抑える、構造的ブロックベース因子分解という新しいブロック低ランク近似手法を提案する。従来の滑らかで低ランクな領域にとどまらない低ランク近似の拡張により、高い精度と安定性を維持し、効率性と頑健性の両面で最先端の手法を上回る。

ABSTRACT

Kernel matrices are popular in machine learning and scientific computing, but they are limited by their quadratic complexity in both construction and storage. It is well-known that as one varies the kernel parameter, e.g., the width parameter in radial basis function kernels, the kernel matrix changes from a smooth low-rank kernel to a diagonally-dominant and then fully-diagonal kernel. Low-rank approximation methods have been widely-studied, mostly in the first case, to reduce the memory storage and the cost of computing matrix-vector products. Here, we use ideas from scientific computing to propose an extension of these methods to situations where the matrix is not well-approximated by a low-rank matrix. In particular, we construct an efficient block low-rank approximation method---which we call the Block Basis Factorization---and we show that it has $\mathcal{O}(n)$ complexity in both time and memory. Our method works for a wide range of kernel parameters, extending the domain of applicability of low-rank approximation methods, and our empirical results demonstrate the stability (small standard deviation in error) and superiority over current state-of-art kernel approximation algorithms.

研究の動機と目的

• さまざまなカーネルパラメータにおいてカーネル行列構築と保存の二次的計算量のボトル neck を解消すること。
• 滑らかで低ランクな領域にとどまらない低ランク近似手法の適用範囲を、対角優勢や完全対角カーネルを含む領域へ拡張すること。
• 広範なカーネルパラメータ範囲で高い精度と安定性を維持するブロック低ランク因子分解手法を開発すること。
• カーネル行列評価における時間と記憶容量の複雑さを $Θ(n)$ に抑えることにより、スケーラブルな計算を実現すること。
• 効率性と誤差の安定性の両面で、既存の最先端のカーネル近似アルゴリズムを上回ること。

提案手法

• 本手法は、さまざまなパラメータ領域におけるカーネル行列を扱える、構造的ブロック低ランク近似フレームワークであるブロックベース因子分解を導入する。
• 科学計算分野の知見を活用し、対角優勢やほぼ対角なカーネル行列のような、従来の低ランク構造ではよく近似できない行列に対しても低ランク技術を適応させる。
• 因子分解はカーネル行列をブロックに分割し、各ブロックの局所的構造に応じて低ランク近似を部分的に適用する。
• カーネルパラメータと行列構造に応じてブロックサイズと近似ランクを動的に調整することで、数値的安定性を確保する。
• 階層的構造とブロック単位の低ランク表現を活用することで、$Θ(n)$ の複雑さを達成する。
• 本手法は、滑らかから対角極限まで広範な径間基底関数カーネルパラメータのスケールにわたり、頑健に動作するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 低ランク近似技術は、対角優勢や完全対角な行列のように、低ランク構造でよく近似できないカーネル行列に対しても拡張可能か？
• RQ2 ブロックベースの低ランク因子分解手法は、さまざまなカーネルパラメータにおいて、カーネル行列評価の時間と記憶容量の両方で $Θ(n)$ の複雑さを達成できるか？
• RQ3 提案されたブロックベース因子分解は、既存の最先端のカーネル近似アルゴリズムと比較して、精度と安定性の両面で優れているか？
• RQ4 カーネルパラメータの変動が、低ランク近似手法の性能と頑健性に与える影響は何か？
• RQ5 滑らかから対角極限までカーネル行列挙動の全範囲にわたり、高い精度と効率性を維持できる統一フレームワークを構築可能か？

主な発見

• ブロックベース因子分解は、カーネル行列評価において $Θ(n)$ の時間計算量と記憶容量を達成し、スケーラブルな計算を可能にする。
• 本手法は、さまざまなカーネルパラメータにおいて高い精度と安定性を維持し、誤差の標準偏差が小さく抑えられている。
• 本手法は、効率性と頑健性の両面で、現在の最先端のカーネル近似アルゴリズムを上回っている。
• 本手法は、従来の低ランク近似の適用領域外とされていた領域、例えば対角優勢や完全対角なカーネルに対しても、低ランク近似を成功裏に拡張した。
• 実験的結果により、本手法の安定性と、広範なカーネルパラメータ範囲における既存手法に対する優位性が確認された。