[論文レビュー] Learned Robust PCA: A Scalable Deep Unfolding Approach for High-Dimensional Outlier Detection

HanQin Cai, Jialin Liu+1 more|arXiv (Cornell University)|Oct 11, 2021

Sparse and Compressive Sensing Techniques参考文献 48被引用数 20

ひとこと要約

本稿では、反復的特異値しきい値処理を学習可能で再帰的な混合ニューラルネットワークに置き換えることで、無限反復アンフォールディングとエンド・ツー・エンドのパrameter学習を可能にするスケーラブルな深層アンフォールディング手法、学習可能ロバストPCA（LRPCA）を提案する。LRPCAは、合成データおよび実世界の動画背景分離タスクにおいて、ScaledGD や AltProj といった最先端手法を上回る優れた性能を達成し、ややきつい仮定のもとで強力な一般化および回復保証を有する。

ABSTRACT

Robust principal component analysis (RPCA) is a critical tool in modern machine learning, which detects outliers in the task of low-rank matrix reconstruction. In this paper, we propose a scalable and learnable non-convex approach for high-dimensional RPCA problems, which we call Learned Robust PCA (LRPCA). LRPCA is highly efficient, and its free parameters can be effectively learned to optimize via deep unfolding. Moreover, we extend deep unfolding from finite iterations to infinite iterations via a novel feedforward-recurrent-mixed neural network model. We establish the recovery guarantee of LRPCA under mild assumptions for RPCA. Numerical experiments show that LRPCA outperforms the state-of-the-art RPCA algorithms, such as ScaledGD and AltProj, on both synthetic datasets and real-world applications.

研究の動機と目的

• 反復的特異値しきい値処理（SVT）を毎反復で実行する必要があるため、既存のRPCA手法の計算コストが高いためにその問題を解決すること。
• 有限反復の深層アンフォールディングには、より高い精度を得るための再トレーニングが必要であるという制限を克服すること。
• 高次元RPCA問題に対してスケーラブルで、学習可能かつ理論的裏付けのあるアプローチを開発すること。
• 再トレーニングなしで異なる行列サイズやランクに一般化できること。
• ややきつい仮定のもとで、提案手法の回復保証を確立すること。

提案手法

• 無限反復アンフォールディングをモデル化するための前向き・再帰的・混合ニューラルネットワーク（FRMNN）を提案し、再トレーニングなしで任意の精度を達成可能にする。
• 古典的RPCAにおける特異値しきい値処理（SVT）ステップを、学習可能で適応的なしきい値およびステップサイズパラメータに置き換える。
• 非凸RPCAアルゴリズムをパrameter化するための深層アンフォールディングを採用し、自由パラメータのエンド・ツー・エンドのバックプロパゲーションに基づく学習を可能にする。
• 合成データ（既知の真値付き）を用いた監視のもとで、ステップごとのトレーニング戦略を採用し、確率的勾配降下法（SGD）を用いる。
• 理論的境界に基づき、テスト時のしきい値パラメータのスケーリングを適用し、異なる行列サイズやランクに一般化する。
• ハイパーパラメータの最適化に、層ごとのトレーニング（SGD）とグリッドサーチを組み合わせたハイブリッドトレーニング方式を採用し、保留された合成インスタンスを検証に用いる。

実験結果

リサーチクエスチョン

• RQ1 RPCAのための深層アンフォールディングアプローチは、高次元設定において特異値しきい値処理（SVT）の計算ボトルネックを回避できるか？
• RQ2 再トレーニングなしで任意の精度を達成できる、学習可能で無限反復のアンフォールディングフレームワークを設計できるか？
• RQ3 1つの基本設定でトレーニングした場合、異なる行列次元やランクに一般化できるか？
• RQ4 学習されたパラメータは、ややきつい仮定のもとで理論的裏付け（回復保証）を有するか？
• RQ5 提案手法の性能は、ScaledGD や AltProj といった最先端のRPCAアルゴリズムと比較してどうか？

主な発見

• LRPCAは合成データおよび実世界の動画背景分離タスクにおいて、ScaledGD や AltProj を上回り、反復回数を減らしつつ高い精度を達成する。
• 一般化性能が優れている：ベース設定（n=1000, r=5）でトレーニングしたモデルは、n=3000, r=5 のターゲット設定で10−4の精度に到達するまでに7反復で達成可能であり、ターゲット設定でトレーニングした場合の6反復と同等の性能を示す。
• トレーニングされたステップサイズは初期段階で大きく、徐々に減少する傾向を示し、理論的期待と整合しており、初期段階での急激な収束を可能にする。
• しきい値パラメータは指数関数的に減少し、補題10の理論的境界と整合的であるため、安定的かつ適応的な外れ値抑制が実現されている。
• GPU並列処理のおかげで、問題サイズに比例してトレーニング時間が劣線形に増加し、n=5000, r=5, α=0.1 の場合に2405秒を要する。
• ややきつい仮定（有界な非一様性とスパarsity）のもとで、正確な回復が達成され、理論的回復保証が確立されている。