[論文レビュー] Compression, inversion, and approximate PCA of dense kernel matrices at near-linear computational complexity

Florian Schäfer, T. J. Sullivan+1 more|arXiv (Cornell University)|Jun 7, 2017

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、滑らかな共分散関数から生じる密行列の圧縮、逆行列計算、および近似的なPCAを、近線形時間計算量で行うアルゴリズムを提案する。空間的配置に基づいてスパースなスパースネスパターンを特定し、ゼロフィルインクリープル・チョルダッシュ分解を適用することで、O(N log²N log²d(N/ε))の時間とO(N log N logd(N/ε))の空間でε近似の行列圧縮と逆行列計算を達成し、PCAに対して証明可能な指数的精度と最適収束率を達成する。

ABSTRACT

Dense kernel matrices $\\Theta \\in \\mathbb{R}^{N \ imes N}$ obtained from point evaluations of a covariance function $G$ at locations $\\{ x_{i} \\}_{1 \\leq i \\leq N} \\subset \\mathbb{R}^{d}$ arise in statistics, machine learning, and numerical analysis. For covariance functions that are Green's functions of elliptic boundary value problems and homogeneously-distributed sampling points, we show how to identify a subset $S \\subset \\{ 1 , \\dots , N \\}^2$, with $\\# S = O ( N \\log (N) \\log^{d} ( N /\\epsilon ) )$, such that the zero fill-in incomplete Cholesky factorisation of the sparse matrix $\\Theta_{ij} 1_{( i, j ) \\in S}$ is an $\\epsilon$-approximation of $\\Theta$. This factorisation can provably be obtained in complexity $O ( N \\log( N ) \\log^{d}( N /\\epsilon) )$ in space and $O ( N \\log^{2}( N ) \\log^{2d}( N /\\epsilon) )$ in time, improving upon the state of the art for general elliptic operators; we further present numerical evidence that $d$ can be taken to be the intrinsic dimension of the data set rather than that of the ambient space. The algorithm only needs to know the spatial configuration of the $x_{i}$ and does not require an analytic representation of $G$. Furthermore, this factorization straightforwardly provides an approximate sparse PCA with optimal rate of convergence in the operator norm. Hence, by using only subsampling and the incomplete Cholesky factorization, we obtain, at nearly linear complexity, the compression, inversion and approximate PCA of a large class of covariance matrices. By inverting the order of the Cholesky factorization we also obtain a solver for elliptic PDE with complexity $O ( N \\log^{d}( N /\\epsilon) )$ in space and $O ( N \\log^{2d}( N /\\epsilon) )$ in time, improving upon the state of the art for general elliptic operators.

研究の動機と目的

• 統計、機械学習、偏微分方程式（PDE）で一般的に見られる、O(N³)の計算ボトルネックを解消すること。
• 核関数の解析的表現を必要としない、密行列の近線形時間逆行列計算と圧縮を実現する手法の開発。
• データに適応するアルゴリズムとして、データに内在する低次元構造を自動で活用する、証明可能な精度を持つもの。
• サブサンプリングと不完全チョルダッシュ因子分解のみを用いて、近似的なPCAと楕円型PDEの高速直接解法の最適収束率を達成すること。
• 消失モーメント条件や局所平均化を必要としないように、演算子適応波形とギャンブルト変換を一般化すること。

提案手法

• サンプリング点の空間的配置に基づいて、サイズO(N log N logd(N/ε))のスパースなスパースネスパターンS ⊂ {1,…,N}²を特定する。
• スパース行列Θ_ij 1_{(i,j)∈S}に対してゼロフィルインクリープル・チョルダッシュ因子分解を適用し、全密行列Θのオペレータノルム内ε近似を証明可能に達成する。
• 演算子適応波形に関する理論的結果とスクリーニング効果を活用し、核関数Gの解析的表現を必要とせずにスパースネスパターン選択を正当化する。
• チョルダッシュ因子Lを直接用いて、オペレータノルム内での最適収束率を達成する近似的なスパースPCAを計算する。
• チョルダッシュ因子分解の消去順序を逆転させることで、時間計算量O(N log²d(N/ε))、空間計算量O(N logd(N/ε))の楕円型PDEの高速直接解法を構築する。
• データ駆動型の階層的アプローチを採用し、アーメンタ次元ではなく、データセットの内在次元dに適応する。

実験結果

リサーチクエスチョン

• RQ1 滑らかな共分散関数から生じる密行列は、核関数の解析的表現を必要とせずに、近線形時間で圧縮・逆行列計算が可能か？
• RQ2 適切に選択されたスパースネスパターンに対するスパース・チョルダッシュ因子分解は、証明可能な精度で全密行列をε近似可能か？
• RQ3 そのようなパターンの不完全チョルダッシュ因子分解は、オペレータノルム内での最適収束率を達成する近似的PCAを提供可能か？
• RQ4 同じ因子分解を逆転させることで、既存手法より優れた複雑度を達成する楕円型PDEの高速直接解法が得られるか？
• RQ5 高いアーメンタ次元性に対してもロバストであり、同時にデータの内在次元を自動で活用できるか？

主な発見

• 本アルゴリズムは、O(N log²N log²d(N/ε))時間とO(N log N logd(N/ε))空間で、密行列のε近似圧縮と逆行列計算を達成し、標準的なチョルダッシュ因子分解のO(N³)と比べ顕著な改善を示す。
• 選択されたスパースネスパターンSに対するスパース・チョルダッシュ因子分解は、オペレータノルム内での最適収束率を達成する近似的PCAを提供する。
• 本手法は核関数Gの解析的表現を必要とせず、サンプリング点の空間的配置のみを必要とする。
• 数値的証拠から、複雑度における指数dは、アーメンタ次元ではなく、データセットの内在次元に置き換え可能であると示唆される。
• 本アルゴリズムは、O(N log²d(N/ε))時間計算量とO(N logd(N/ε))空間計算量を達成する楕円型PDEの高速直接解法を可能にし、最先端技術を進展させる。
• 消失モーメント条件や局所平均化を必要としないようにギャンブルト変換を一般化し、より広範な適用可能性を実現する。