[論文レビュー] The Effect of Coherence on Sampling from Matrices with Orthonormal Columns, and Preconditioned Least Squares Problems

Ilse C. F. Ipsen, Thomas Wentworth|arXiv (Cornell University)|Mar 21, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、正規直交列をもつ行列からの行サンプリング戦略—非復元抽出、復元抽出、ベルヌーイ抽出—を分析し、コherenceとレバレッジスコアを用いた条件数の上限を導出する。少なくとも $\mathcal{O}(m\mu\ln n)$ 行をサンプリングすることで、高確率で良好に条件付けられたサンプル行列が得られることを示し、ユーザーが指定したコherenceとレバレッジスコアを持つ行列を生成するためのアルゴリズムも提供している。これらの手法は kappa_SQ_v3 ツールボックスを用いて検証されている。

ABSTRACT

Motivated by the least squares solver Blendenpik, we investigate three strategies for uniform sampling of rows from m x n matrices Q with orthonormal columns. The goal is to determine, with high probability, how many rows are required so that the sampled matrices have full rank and are well-conditioned with respect to inversion. Extensive numerical experiments illustrate that the three sampling strategies (without replacement, with replacement, and Bernoulli sampling) behave almost identically, for small to moderate amounts of sampling. In particular, sampled matrices of full rank tend to have two-norm condition numbers of at most 10. We derive a bound on the condition number of the sampled matrices in terms of the coherence μ of Q. This bound applies to all three different sampling strategies; it implies a, not necessarily tight, lower bound of O(m μ ln(n)) for the number of sampled rows; and it is realistic and informative even for matrices of small dimension and the stringent requirement of a 99 percent success probability. For uniform sampling with replacement we derive a potentially tighter condition number bound in terms of the leverage scores of Q. To obtain a more easily computable version of this bound, in terms of just the largest leverage scores, we first derive a general bound on the two-norm of diagonally scaled matrices. To facilitate the numerical experiments and test the tightness of the bounds, we present algorithms to generate matrices with user-specified coherence and leverage scores. These algorithms, the three sampling strategies, and a large variety of condition number bounds are implemented in the Matlab toolbox kappa_SQ_v3.

研究の動機と目的

• 正規直交列をもつ行列から抽出された部分行列の条件数に及ぼすコherenceの影響を調査すること。
• 非復元抽出、復元抽出、ベルヌーイ抽出の3つのサンプリング戦略が、良好に条件付けられ、フルランクのサンプル行列を生成する能力を評価すること。
• コherenceとレバレッジスコアを用いて、サンプル行列の2ノルム条件数に対するタイトで計算可能な上限を導出すること。
• 実験的検証のため、ユーザーが指定したコherenceとレバレッジスコアを持つ行列を生成するためのアルゴリズムを開発すること。
• 提案された上限とサンプリング戦略を kappa_SQ_v3 MATLAB ツールボックスに実装・テストし、再現性のある研究を可能にすること。

提案手法

• 主要化と固有値-対角要素の関係を用いて、対角スケーリング行列の2ノルムに関する一般上限を導出する。
• すべての3つのサンプリング戦略に対して、コherence $\mu$ を用いたサンプル行列の条件数上限を確立し、高確率で良好に条件付けられるためには $\mathcal{O}(m\mu\ln n)$ 行をサンプリングする必要があることを示す。
• 一様復元抽出の場合、レバレッジスコアを用いてよりタイトな条件数上限を導出し、最大のレバレッジスコアに基づいた簡略化版を提供する。
• 主要化と対称行列構築に基づき、正規直交列をもつ $m \times n$ 行列を、ユーザーが指定したコherenceとレバレッジスコアを持つように生成する新しいアルゴリズムを導入する。
• すべてのサンプリング戦略、上限、行列生成アルゴリズムを、再現性のある実験を可能にするオープンソースの MATLAB ツールボックス kappa_SQ_v3 に実装する。
• さまざまな次元とコherenceレベルの行列を用いた広範な数値実験を通じて、理論的上限の検証を行う。

実験結果

リサーチクエスチョン

• RQ1 コherence $\mu$ は、正規直交列をもつ行列からランダムに抽出された部分行列の条件数にどのように影響を与えるか？
• RQ2 非復元抽出、復元抽出、ベルヌーイ抽出の異なるサンプリング戦略は、サンプル行列の条件付け特性に顕著な差をもたらすか？
• RQ3 コherenceとレバレッジスコアを用いて、サンプル行列の条件数に対するタイトで計算可能な上限を導出できるか？
• RQ4 良好に条件付けられたサンプル行列が高確率で得られるために、最低何行を抽出する必要があるか？
• RQ5 任意のユーザー指定のコherenceとレバレッジスコアを持つ行列をアルゴリズム的に生成でき、実験的検証に用いることができるか？

主な発見

• サンプル行列 $SQ$ の条件数は、高確率で $\mathcal{O}(m\mu\ln n)$ に上限づけられ、良好に条件付けられるために必要な行数の理論的下限を提供する。
• 数値実験の結果、小規模から中規模のサンプリングレベルでは、非復元抽出、復元抽出、ベルヌーイ抽出の3つの戦略がほぼ同一の挙動を示す。
• フルランクのサンプル行列は、2ノルム条件数が10未満である傾向にあり、強い数値的安定性を示す。
• 復元抽出の場合、レバレッジスコアを用いたよりタイトな条件数上限が導出され、コherenceに基づく上限を改善している。
• 提案されたアルゴリズムにより、ユーザーが指定したコherenceとレバレッジスコアを持つ行列が生成可能であり、理論的上限の検証や制御された実験が可能になる。
• kappa_SQ_v3 ツールボックスは、行列生成、サンプリング戦略、条件数上限のすべての要素を正常に実装しており、再現性のある研究を可能にしている。