[論文レビュー] Pivoted Cholesky decomposition by Cross Approximation for efficient solution of kernel systems

Dishi Liu, Hermann G. Matthies|arXiv (Cornell University)|May 21, 2015

Electromagnetic Scattering and Analysis参考文献 30被引用数 7

ひとこと要約

本論文は、正則化を伴わずに大規模で悪条件なカーネル系を効率的に解くために、交差近似（CA）でチューニングされた新しいピボット付きコレスキー分解（PCD）アルゴリズムを提案する。対称正定値行列におけるCAの対角ピボットを活用することで、$Ó(k^2n)$の計算量を達成し、正則化ソルバーと比較して2桁の速度向上を実現しながら、高い精度と安定性を維持する。

ABSTRACT

Large kernel systems are prone to be ill-conditioned. Pivoted Cholesky decomposition (PCD) render a stable and efficient solution to the systems without a perturbation of regularization. This paper proposes a new PCD algorithm by tuning Cross Approximation (CA) algorithm to kernel matrices which merges the merits of PCD and CA, and proves as well as numerically exemplifies that it solves large kernel systems two-order more efficiently than those resorts to regularization. As a by-product, a diagonal-pivoted CA technique is also shown efficient in eigen-decomposition of large covariance matrices in an uncertainty quantification problem.

研究の動機と目的

• 径数基底関数（RBF）近似における大規模で悪条件なカーネル系を解く際の不安定性と高い計算コストを解消すること。
• ピボット付きコレスキー分解（PCD）に基づく安定で効率的なソルバーを開発することで、正則化の必要性を排除すること。
• PCDと交差近似（CA）の長所を統合し、対称正定値（SPSD）行列向けの統一的で効率的なアルゴリズムを構築すること。
• 低ランク近似に対する鋭い一様ノルム誤差境界を提供し、その有効性を不確実性評価への応用において示すこと。

提案手法

• ピボットを対角成分に制限することで、交差近似（CA）アルゴリズムを対称正定値（SPSD）行列に適応させ、各段階で残差行列が依然としてSPSDの性質を保つようにする。
• 行の入れ替えやネストインデックスを回避する対角ピボットCAの変種を導入し、実装を簡素化しながらも精度を維持する。
• 適応したCAをピボット付きコレスキー分解（PCD）フレームワークに統合し、各ステップで最大の対角成分をピボットとして選択することで、近似の増加量の下界を最大化する。
• PCDアルゴリズムをランク1更新プロセスとして定式化し、各ステップで残差行列からランク1近似を差し引くことで、低ランク因子分解を構築する。
• 得られたPCD-CAアルゴリズムが鋭い一様ノルム誤差境界を提供することを証明し、適応的精度制御の可能性を示す。
• RBF補間および大規模共分散行列の固有値分解にこの手法を適用し、効率性と安定性を実証する。

実験結果

リサーチクエスチョン

• RQ1 対角ピボットCAアルゴリズムは、SPSD行列に対して完全ピボットCAと同等の精度を達成しながら、計算コストを低減できるか？
• RQ2 CAとPCDを組み合わせることで、正則化なしに悪条件なカーネル系を安定かつ効率的に解くソルバーが得られるか？
• RQ3 大規模カーネル系に対して、提案されたPCD-CAアルゴリズムの計算量と誤差境界は何か？
• RQ4 RBF近似タスクにおいて、PCD-CA法はRBF-Cholのような正則化ソルバーと比較して精度と効率の点で優れているか？
• RQ5 対角ピボットCA技術は、不確実性評価における大規模共分散行列の固有値分解を加速できるか？

主な発見

• 提案されたPCD-CAアルゴリズムは、$Ó(k^2n)$の計算量を達成する。ここで$k$は系のランクを表し、標準的コレスキー分解の$Ó(n^3)$から著しくコストを削減する。
• 数値実験により、正則化に基づくアプローチ（例：RBF-Chol）と比較して、PCD-CA法は2桁の速度向上を達成している。
• PCD-CAアルゴリズムは鋭い一様ノルム誤差境界を提供し、悪条件な状況下でも適応的精度制御と頑健性を実現する。
• RBF近似において、PCD-CA法はサンプル数を減らしても、正則化ソルバーと同等またはそれ以上の精度を達成しており、RMSEと視覚的比較で示されている。
• 対角ピボットCAの変種は、不確実性評価における大規模共分散行列の固有値分解を顕著に高速化し、標準的手法を上回る性能を示している。
• RBF補間において、PCD-CA法は標準的LU分解が失敗するランク落ち状態でも解を安定化させ、高条件数の状況下での頑健性を示している。