[論文レビュー] Perturbations of CUR Decompositions

Keaton Hamm, Longxiu Huang|arXiv (Cornell University)|Aug 21, 2019

Sparse and Compressive Sensing Techniques参考文献 46被引用数 5

ひとこと要約

本稿は、任意のノイズ下でのCUR分解に対する包括的な摂動解析を提供し、複数のCURバリアントにおけるスチャッテンpノルムでの境界を導出する。また、ランク制約の方法としての標準的で最適な手法が存在しないことが示され、これはNyström法における結果とは対照的である。一方で、競争的な経験的性能を示す新しい射影に基づくランク圧縮手法を提案する。

ABSTRACT

The CUR decomposition is a factorization of a low-rank matrix obtained by selecting certain column and row submatrices of it. We perform a thorough investigation of what happens to such decompositions in the presence of noise. Since CUR decompositions are non-uniquely formed, we investigate several variants and give perturbation estimates for each in terms of the magnitude of the noise matrix in a broad class of norms which includes all Schatten $p$--norms. The estimates given here are qualitative and illustrate how the choice of columns and rows affects the quality of the approximation, and additionally we obtain new state-of-the-art bounds for some variants of CUR approximations.

研究の動機と目的

• 任意のノイズ行列下での複数のCUR分解バリアントに対する包括的な摂動解析を提供すること。
• すべてのスチャッテンpノルムを含む広範な行列ノルムクラスにおける一般誤差境界を確立すること。
• 一般行列におけるCUR分解におけるランク制約のための標準的で最適な手法が存在するかを調査し、既知のNyström法の結果と対比すること。
• ノイズに対する耐性を向上させる新しいランク圧縮手法を開発し、その性能を評価すること。
• 列および行の選択戦略が近似品質に与える影響を定性的および定量的な境界を通じて提示すること。

提案手法

• 行列ノルムが正規化され、ユニタリ不変かつ乗法的であることを前提に、$ A = C U^\flat R $ および $ A = C C^\flat A R^\flat R $ などの複数のCUR分解バリアントの摂動境界を導出する。
• 特異値分解（SVD）およびムーア・ペンローズ一般逆行列に対する古典的摂動理論の類似を用い、スチュアートの枠組みをCUR分解へ拡張する。
• 最大ボリューム部分行列を列および行選択戦略として分析し、既存の線形代数の結果よりも tighter な境界を提供する。
• 新規のランク圧縮手法を導入する：$ \tilde{C}_k \tilde{C}_k^\flat \tilde{A} \tilde{R}_k^\flat \tilde{R}_k $。これは、抽出された列および行の張る部分空間へ射影する。
• 合成行列および構造的行列（例：ヒルベルト行列）を用いて、新規手法の経験的評価を行い、標準的CURおよびNyströmベースの近似と比較する。
• 理論的分析と数値実験の両方を用いて、変動するノイズレベルおよびサンプリングパターン下での提案手法の耐性および正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 異なるCUR分解バリアントは、任意の行列摂動下でどのように振る舞い、スチャッテンpノルムにおける対応する誤差境界は何か？
• RQ2 対称正定値行列とは異なり、一般行列においてランク制約を実装するための証明可能な最適な方法は存在するか？
• RQ3 特に最大ボリュームサンプリングを用いた列および行のサンプリング戦略の選択が、ノイズ下でのCUR近似の安定性および正確性に与える影響は何か？
• RQ4 射影に基づくランク圧縮手法は、標準的手法よりも耐性および近似品質の面で優れていると期待できるか？
• RQ5 理論的摂動境界は、構造的および非構造的行列における経験的性能とどの程度一致するか？

主な発見

• 本稿は、すべてのスチャッテンpノルムにおける複数のCUR分解バリアントの一般摂動境界を確立し、ノイズ感受性の統一的理論枠組みを提供する。
• 最大ボリューム部分行列のケースでは、線形代数の既存文献における結果を上回るよりtightで直感的な推定を提供する境界が得られた。
• 研究では、一般のCUR分解においてはランク制約のための標準的で最適な手法が存在しないことが判明した。これは、SPSD行列に対するNyström法の結果とは対照的である。
• 提案された射影に基づくランク圧縮手法 $ \tilde{C}_k \tilde{C}_k^\flat \tilde{A} \tilde{R}_k^\flat \tilde{R}_k $ は、実験において競争的な性能を示し、特に小規模なオーバーサンプリング時において顕著である。
• 実験では、ノイズ下での部分空間の整合性が優れているため、新規手法はSPSDおよび非構造的ケースの両方で、標準的CURおよびNyströmベースの近似を上回る性能を示した。
• 最大ボリュームサンプリングは、最小限のオーバーサンプリングで良好な正確性を達成するが、リーブェッジスコアサンプリングは同等の正確性を得るためにはより多くの列を必要とするが、計算コストが低くなる。