[論文レビュー] The Noisy Power Method: A Meta Algorithm with Applications

Moritz Hardt, Eric Price|arXiv (Cornell University)|Nov 11, 2013

Sparse and Compressive Sensing Techniques参考文献 18被引用数 102

ひとこと要約

本稿では、スパムの高いノイズ下でも行列の主要な特異ベクトルを計算するためのロバストなメタアルゴリズムとして、ノイズを含むパワー法を導入する。この手法は、ストリーミングPCA、行列補完、微分プライバシーPCAに応用可能である。本稿では、先行の特殊な境界を統合する一般化された収束解析を提供し、最初にほぼ線形時間で動作する微分プライバシーPCAアルゴリズムを提示する。このアルゴリズムはほぼタイトな誤差境界を達成し、行列のコherencte依存性により、最悪ケースおよび平均ケース性能が向上する。

ABSTRACT

We provide a new robust convergence analysis of the well-known power method for computing the dominant singular vectors of a matrix that we call the noisy power method. Our result characterizes the convergence behavior of the algorithm when a significant amount noise is introduced after each matrix-vector multiplication. The noisy power method can be seen as a meta-algorithm that has recently found a number of important applications in a broad range of machine learning problems including alternating minimization for matrix completion, streaming principal component analysis (PCA), and privacy-preserving spectral analysis. Our general analysis subsumes several existing ad-hoc convergence bounds and resolves a number of open problems in multiple applications including streaming PCA and privacy-preserving singular vector computation.

研究の動機と目的

• ノイズ下でのパワー法に対する広範な収束解析を構築し、多様なノイズ付き行列計算設定に適用可能であることを目的とする。
• スパiked共分散モデルにとどまらない、より単純で一般化された解析により、ストリーミングPCAにおける未解決問題を解決すること。
• 最初にほぼ線形時間で動作し、ほぼ最適な誤差境界を達成する微分プライバシーPCAアルゴリズムを設計すること。
• 誤差の行列次元依存性を、よりタイトな行列のコヒーレンス依存性に置き換えることにより、平均ケース性能を向上させること。

提案手法

• ノイズを含むパワー法は、各ステップ後にノイズを追加しながら行列-ベクトル乗算を繰り返し、QR分解により正規直交性を維持する。
• 本手法は、各行列-ベクトル積の後に敵対的・適応的摂動を含む一般なノイズ仮定のもとで解析される。
• 収束解析において、ノイズの集中を制御するための行列チェフンブウンドの使用が鍵となる。
• ガウスノイズの符号対称性と回転不変性を活用し、反復の無限大ノルムを評価する。
• i.i.d. ガウスノイズ下でのアルゴリズムの挙動を記述するための決定的関数を定義し、分布的解析を可能にする。
• 正規直交不変性の性質を用いて、入力行列の直交変換に対してアルゴリズムの出力分布が不変であることを示す。

実験結果

リサーチクエスチョン

• RQ1 一様なロバストな収束解析が、ノイズ下でのパワー法に対する既存の特殊な解析を統一できるか？
• RQ2 任意の初期部分空間と一般なノイズモデル下でも、ノイズを含むパワー法はグローバル収束を示すか？
• RQ3 ノイズを含むパワー法を用いて、微分プライバシーPCAでほぼ最適な誤差境界を達成できるか？
• RQ4 プライベートPCAにおける誤差の行列次元依存性を、よりタイトな行列コヒーレンス依存性に置き換えられるか？
• RQ5 ノイズを含むパワー法は、ガウススパiked共分散モデルを越えて、ストリーミングPCAにおいても正当な収束保証を提供するか？

主な発見

• ノイズがスペクトルギャップに対して有界であれば、ランダムな初期部分空間のもとでも、高確率でグローバル収束を達成する。
• ストリーミングPCAにおいて、本解析はガウススパiked共分散モデルに限定されず、任意の分布下でも収束を確認し、自然なパrameter領域で先行の境界を改善する。
• 本稿は、最初にほぼ線形時間で動作し、ほぼタイトな最悪ケース誤差境界を持つ微分プライバシーPCAアルゴリズムを提供する。
• 行列次元依存性がコヒーレンス依存性に置き換えられ、これはしばしばはるかに小さいため、強い平均ケース性能向上が得られる。
• 収束速度は O(σₖ / (σₖ − σₖ₊₁)) log(dτ/ε) であり、対数要因を除けば最適レートと一致する。
• 解析により、アルゴリズムの出力が入力行列の直交変換に対して不変であることが示され、分布的対称性の議論が可能になる。