[論文レビュー] Approximating the Spectral Sums of Large-scale Matrices using Chebyshev Approximations

In‐Su Han, Dmitry Malioutov+2 more|arXiv (Cornell University)|Jun 3, 2016

Neural Networks and Applications参考文献 39被引用数 14

ひとこと要約

本稿では、スティリスティック的チェビシェフ近似を用いて、大規模な対称行列のスペクトル和を近似する線形時間の確率的アルゴリズムを提案する。この手法は、チェビシェフ補間とハッチンソンのトレース推定法を組み合わせ、行列の固有値の関数のトレースを推定する。アルゴリズムは行列-ベクトル積のみを必要とし、関数の範囲が有界な場合、定数個の行列-ベクトル積でε-乗法的誤差保証が達成可能である。これにより、数千万次元の行列において、対数行列式、逆行列のトレース、エストラダ指数、シュタットンpノルム、正定値性のテストを効率的かつスケーラブルに計算可能となる。

ABSTRACT

Computation of the trace of a matrix function plays an important role in many scientific computing applications, including applications in machine learning, computational physics (e.g., lattice quantum chromodynamics), network analysis and computational biology (e.g., protein folding), just to name a few application areas. We propose a linear-time randomized algorithm for approximating the trace of matrix functions of large symmetric matrices. Our algorithm is based on coupling function approximation using Chebyshev interpolation with stochastic trace estimators (Hutchinson's method), and as such requires only implicit access to the matrix, in the form of a function that maps a vector to the product of the matrix and the vector. We provide rigorous approximation error in terms of the extremal eigenvalue of the input matrix, and the Bernstein ellipse that corresponds to the function at hand. Based on our general scheme, we provide algorithms with provable guarantees for important matrix computations, including log-determinant, trace of matrix inverse, Estrada index, Schatten p-norm, and testing positive definiteness. We experimentally evaluate our algorithm and demonstrate its effectiveness on matrices with tens of millions dimensions.

研究の動機と目的

• 大規模な行列における正確なスペクトル和の計算が次元の立方に比例して計算不能となる問題に対処すること。
• 行列の明示的因数分解を避けるために、行列-ベクトル積による暗黙的アクセスに依存する手法の開発。
• 関数の性質と行列の極値固有値に基づいて、スペクトル和の近似に対する保証付き誤差境界の提供。
• 対数行列式、逆行列のトレース、エストラダ指数、シュタットンpノルム、正定値性のテストといった主要な行列関数の効率的かつスケーラブルな計算の実現。
• 従来の手法が計算コストのため失敗する数千万次元の行列において、本手法の有効性を示すこと。

提案手法

• アルゴリズムは、行列関数f(A)の近似にチェビシェフ補間を用い、スペクトル和をAの多項式のトレースに変換する。
• この近似をハッチンソンの確率的トレース推定法と組み合わせ、行列を明示的に格納せずにランダムベクトルを用いてトレースを推定する。
• この手法は行列-ベクトル積のみに依存しており、大規模でスパース、あるいは暗黙的に定義された行列に対しても適している。
• 誤差境界は、関数fと関連するベルンシュタイン楕円を用いて導出され、近似精度が関数の解析性と行列の極値固有値に依存することを示す。
• 関数がベルンシュタイン楕円上でΘ(1)の範囲をとる場合、ε-乗法的誤差が達成されるために必要な行列-ベクトル積の数は定数であることが示された。
• 正定値性のテストへの応用が拡張され、許容領域内の固有値推定を用いた手法が提案された。

実験結果

リサーチクエスチョン

• RQ1 行列-ベクトル積のみを用いて、大規模な対称行列のスペクトル和を保証付き誤差境界で効率的に近似できるか？
• RQ2 関数の解析性（ベルンシュタイン楕円を介して）と、所定の精度を達成するための必要な行列-ベクトル積の数との間には、理論的関係があるか？
• RQ3 本手法は、対数行列式、逆行列のトレース、シュタットンpノルムといった主要な行列関数を、最小限の計算コストで計算可能に拡張できるか？
• RQ4 標準的手法が失敗するような、悪条件または大規模な行列に対し、正定値性を信頼性を持ってテストできるか？
• RQ5 実世界の行列（数千万次元）において、本手法の実効性は何か？

主な発見

• 関数がベルンシュタイン楕円上でΘ(1)の範囲をとる場合、任意の固定されたε > 0と失敗確率に対して、定数個の行列-ベクトル積でスペクトル和のε-乗法的近似が達成される。
• 数千万次元にまで及ぶ実世界の行列に対して、本手法は対数行列式、逆行列のトレース、その他のスペクトル関数を高い精度と低い計算コストで効率的に計算できた。
• n=16,000の行列に対して、90%のテスト行列で正定値性を正しく同定した。これは、反復的固有値ソルバーが収束に失敗するのとは対照的であった。
• 行列が悪条件である場合でも、本手法は正定値性と条件数に関する有用な情報を提供するが、コレスキー分解は計算不能になる。
• 本手法は並列性に優れており、独立した行列-ベクトル積に依存するため、分散環境や高性能コンピューティング環境に適している。
• フロリダ大学スパース行列コレクションの実行列を用いた実験結果から、本手法のロバスト性と大規模問題へのスケーラビリティが確認された。