[論文レビュー] Matrix Coherence and the Nystrom Method

Ameet Talwalkar, Afshin Rostamizadeh|arXiv (Cornell University)|Apr 12, 2010

Sparse and Compressive Sensing Techniques参考文献 15被引用数 12

ひとこと要約

この論文は、低ランク行列近似におけるNyström法の性能と行列のコherencesの間の理論的かつ実験的関係を確立する。コヒーレンス（行列の特異ベクトルが標準基底ベクトルに対してどれほど集中しているかを測る指標）を活用することで、低ランク設定下でのNyström法に対する新しいコヒーレンスに基づく境界を導出し、実験により低いコヒーレンスが、特にフルランク状況において、より高い近似精度と強く相関していることを検証する。

ABSTRACT

The Nystrom method is an efficient technique used to speed up large-scale learning applications by generating low-rank approximations. Crucial to the performance of this technique is the assumption that a matrix can be well approximated by working exclusively with a subset of its columns. In this work we relate this assumption to the concept of matrix coherence, connecting coherence to the performance of the Nystrom method. Making use of related work in the compressed sensing and the matrix completion literature, we derive novel coherence-based bounds for the Nystrom method in the low-rank setting. We then present empirical results that corroborate these theoretical bounds. Finally, we present more general empirical results for the full-rank setting that convincingly demonstrate the ability of matrix coherence to measure the degree to which information can be extracted from a subset of columns.

研究の動機と目的

• 行列のコヒーレンスと、部分的な列から正確な低ランク近似を抽出するNyström法の有効性との関係を形式化すること。
• 従来の理論的境界が対角成分に基づく非一様サンプリングに依存するという限界に対処すること（これは現実の応用では実用的でない）。
• Nyström法が成功または失敗するかどうかを予測できる、理論的根拠を持つデータ依存の指標（行列のコヒーレンス）を提供すること。
• 多様な現実世界および合成データセット（フルランク行列を含む）において、コヒーレンスと近似品質の相関関係を実験的に検証すること。
• 今後の研究における効率的なコヒーレンス推定法の開発および、フルランク設定への境界の一般化を促進すること。

提案手法

• 行列のコヒーレンスを、標準基底ベクトルと行列の上位特異ベクトルとの間の最大二乗内積として定義し、これらのベクトルがどれほど広がっているかまたは集中しているかを定量化する。
• 圧縮センシングおよび行列補完技術の手法を用いて、低ランクおよび低コヒーレンスの仮定下でのNyström法の近似誤差に対する新しい理論的境界を導出する。
• コヒーレンスに基づく境界を用いてNyström法の性能を分析し、非一様な行列（低コヒーレンス）では、正確な近似に適した列サンプリングが可能であることを示す。
• 現実世界のデータセット（例：MNIST、アバロン）および制御された固有値の減衰とコヒーレンスレベルを有する合成行列に対して、コヒーレンスを実験的に評価する。
• データセットのサブサンプリング実験を実施し、行列サイズの増大に伴うコヒーレンスの変化を調査し、非一様な行列ではコヒーレンスの増加が遅く（O(√log n)）、病理的ケースとは対照的であることを示す。
• 固有値の減衰率とコヒーレンスレベルを変化させた制御された合成実験を実施し、各要因がNyström近似誤差に与える影響を分離して分析する。

実験結果

リサーチクエスチョン

• RQ1 行列のコヒーレンスは、低ランク設定下でのNyström法近似の精度にどのように影響するか？
• RQ2 コヒーレンスは、多様な現実世界のデータセットにおいて、Nyström法の性能を信頼性を持って予測できるか？
• RQ3 サブサンプリングに伴い行列のコヒーレンスはどのように変化するのか？ これによりNyström法のスケーラビリティにどのような影響があるか？
• RQ4 低ランク構造とは独立して、行列のコヒーレンスが、小さな列のサブセットから行列を再構築できる能力をどれほど規定するのか？
• RQ5 コヒーレンスに基づく理論的境界はフルランク行列に一般化可能か？ また、それらは実験結果とどのように比較されるか？

主な発見

• 実験結果により、MNISTや合成的な直交ランダムモデルなど、現実世界のデータセットにおいて、低コヒーレンスの行列ではNyström法が著しく優れた性能を発揮することが示された。
• アバロンデータセットは、行列サイズの増大に伴い急速にコヒーレンスが上昇する高コヒーレンスを示しており、他のデータセットと比較してNyström近似における性能の低さが説明できる。
• 制御された固有値の減衰を有する合成行列では、上位k個の特異値がスペクトルのより高い割合を占める場合、Nyström法がより高い近似精度を達成した。
• 合成実験において、低ランク構造を一定に保ったまま、低コヒーレンスが常に低いNyström近似誤差をもたらすことが確認され、コヒーレンスが性能の主要な予測要因であることが裏付けられた。
• 非一様な行列のコヒーレンスは、行列サイズの増大に伴いゆっくりと増加する（O(√log n)）ことが理論的期待と一致し、このような行列におけるNyström法の堅牢性を支持する。
• 実験結果から、フルランク設定においても、情報が小さな列のサブセットからどれほど効果的に抽出できるかを、行列のコヒーレンスが的確に捉えていることが示された。