[論文レビュー] An Explicit Sampling Dependent Spectral Error Bound for Column Subset Selection

Tianbao Yang, Lijun Zhang+2 more|arXiv (Cornell University)|May 4, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用数 14

ひとこと要約

本稿では、サンプリング確率を明示的に考慮する新たなサンプリング依存型スペクトル誤差バウンドを、列サブセット選択（CSS）に対して導入する。これにより、列選択の理論的理解と最適化が向上する。統計的リービングスコアに依存するバウンドを導出し、バイセクションサーチを用いてサンプリング分布を最適化することで、一様分布およびリービングスコアに基づくサンプリングに比べ、歪んだリービングスコアの状況下でも、より優れた低ランク近似性能を達成する。

ABSTRACT

In this paper, we consider the problem of column subset selection. We present a novel analysis of the spectral norm reconstruction for a simple randomized algorithm and establish a new bound that depends explicitly on the sampling probabilities. The sampling dependent error bound (i) allows us to better understand the tradeoff in the reconstruction error due to sampling probabilities, (ii) exhibits more insights than existing error bounds that exploit specific probability distributions, and (iii) implies better sampling distributions. In particular, we show that a sampling distribution with probabilities proportional to the square root of the statistical leverage scores is always better than uniform sampling and is better than leverage-based sampling when the statistical leverage scores are very nonuniform. And by solving a constrained optimization problem related to the error bound with an efficient bisection search we are able to achieve better performance than using either the leverage-based distribution or that proportional to the square root of the statistical leverage scores. Numerical simulations demonstrate the benefits of the new sampling distributions for low-rank matrix approximation and least square approximation compared to state-of-the art algorithms.

研究の動機と目的

• サンプリング確率に明示的依存する列サブセット選択のスペクトルノルム誤差バウンドを構築すること。固定分布を仮定するのではなく、確率分布に依存する形で定式化する。
• 非一様なリービングスコアの状況下において、再構成誤差とサンプリング戦略のトレードオフに関するより深い理論的洞察を提供すること。
• 統計的リービングスコアの平方根に比例するサンプリング分布を導出し、これにより一様サンプリングおよび標準的なリービングスコアベースのサンプリングを上回る性能を達成すること。
• バイセクションサーチを用いた効率的な最適化手順を設計し、導出した誤差バウンドを最小化するように最適なサンプリング確率を求める。

提案手法

• 本手法は、特に行列チェルノフおよびベルンシュタイン不等式を用いて、確率的依存型の高確率スペクトル誤差バウンドを導出する。
• 統計的リービングスコア（SLS）とサンプリング分布 $ \mathbf{s} $ を組み込んだ、サンプリング依存型の誤差項 $ \epsilon(\mathbf{s}) $ を導入し、サンプリング選択が再構成誤差に与える影響を分析可能にする。
• 誤差を二つの成分に分解する：選択されたグラム行列の最小固有値の逆数、およびクロス項行列のスペクトルノルム。
• バイセクションサーチアルゴリズムを用いて、導出した誤差バウンドを最小化する制約付き最適化問題を解き、改善されたサンプリング分布を導出する。
• 選択された列の列空間内での最良のランク$ k $近似に対して、同じ誤差バウンドが成り立つことを示すことにより、正確なランク$ k $近似への拡張を実現する。
• 理論的分析は、ランダム射影および行列摂動技法に基づき、確率的行列和の期待値と尾確率を慎重に取り扱う。

実験結果

リサーチクエスチョン

• RQ1 列サブセット選択における再構成誤差は、特に統計的リービングスコアに関連して、異なるサンプリング確率分布にどのように依存するか？
• RQ2 リービングスコアの平方根に比例するサンプリング分布は、一様サンプリングおよび標準的なリービングスコアベースのサンプリングを一貫して上回る性能を示せるか？
• RQ3 低ランク行列近似において、サンプリング確率とスペクトルノルム誤差バウンドとの理論的関係は何か？
• RQ4 誤差バウンドをサンプリング依存型にした場合、そのバウンドを最小化する最適化手順を設計でき、より優れた実験的性能を達成できるか？
• RQ5 固定または特定のサンプリング分布を仮定する既存のバウンドとは異なり、提案された誤差バウンドは、より洗練された洞察を提供するか？

主な発見

• 統計的リービングスコアの平方根に比例するサンプリング分布は、一様サンプリングを常に上回り、リービングスコアが極めて非一様な状況では、標準的なリービングスコアベースのサンプリングをも上回る性能を示す。
• 提案されたサンプリング依存型誤差バウンドは、固定分布を仮定する既存のバウンドとは異なり、サンプリング確率と再構成誤差の間のより洗練されたトレードオフを明らかにする。
• バイセクションサーチに基づく誤差バウンド最小化の最適化手順により、リービングスコアベースおよび平方根リービングスコアベースのサンプリングよりも優れた性能を達成するサンプリング分布が得られる。
• 数値シミュレーションにより、最適化されたサンプリング分布が、低ランク行列近似および最小二乗近似におけるスペクトルノルム再構成誤差を改善することが確認された。
• 理論的バウンドが一般の列サブセット選択に限らず、正確なランク$ k $近似に対しても成り立つことが示され、適用範囲が拡張された。
• 分析により、行列ベルンシュタイン不等式がクロス項誤差を制御するために不可欠であり、行列チェルノフ不等式が選択されたグラム行列の最小固有値を制御するために不可欠であることが示された。