[論文レビュー] Denise: Deep Robust Principal Component Analysis for Positive Semidefinite Matrices

Calypso Herrera, Florian Krach+3 more|arXiv (Cornell University)|Apr 28, 2020

Sparse and Compressive Sensing Techniques被引用数 2

ひとこと要約

Denise は、対称正定値行列に対するロバストな主成分分析（RPCA）のための深層学習ベースのアルゴリズムを導入し、新しい行列を低ランク成分とスパース成分に分解する関数を学習し、ほぼ即時の推論を実現する。分解品質は最先端水準に達し、主成分追跡（PCP）の約2000倍、高速PCPの約200倍の高速性を達成している。また、表現力と収束に関する理論的保証も提供する。

ABSTRACT

The robust PCA of covariance matrices plays an essential role when isolating key explanatory features. The currently available methods for performing such a low-rank plus sparse decomposition are matrix specific, meaning, those algorithms must re-run for every new matrix. Since these algorithms are computationally expensive, it is preferable to learn and store a function that nearly instantaneously performs this decomposition when evaluated. Therefore, we introduce Denise, a deep learning-based algorithm for robust PCA of covariance matrices, or more generally, of symmetric positive semidefinite matrices, which learns precisely such a function. Theoretical guarantees for Denise are provided. These include a novel universal approximation theorem adapted to our geometric deep learning problem and convergence to an optimal solution to the learning problem. Our experiments show that Denise matches state-of-the-art performance in terms of decomposition quality, while being approximately $2000 imes$ faster than the state-of-the-art, principal component pursuit (PCP), and $200 imes$ faster than the current speed-optimized method, fast PCP.

研究の動機と目的

• 対称正定値行列の低ランク＋スパース成分への分解を、ほぼ即時の方法で実現すること。
• 訓練後、任意の新しい行列を分解できる汎用的な深層ニューラルネットワーク関数を学習し、繰り返し高価な最適化を回避すること。
• ネットワーク出力の連続性により、小さな入力摂動に対してもロバストであることを保証すること。
• アーキテクチャの普遍的近似能力と最適解への収束に関する理論的保証を提供すること。

提案手法

• Denise は、対称正定値行列に特化した幾何的深層学習アーキテクチャを持つ深層ニューラルネットワークを用いる。
• ネットワークは、入力行列を低ランク成分とスパース成分の和として再構成しつつ、スパース成分の ℓ1-ノルムを最小化するように、エンドツーエンドで訓練される。
• 特徴マップ h とリードアウトマップ g を組み込むことで、小さな入力摂動に対して不変性と安定性を確保する。
• ネットワークは、合成データまたは実データを用いた教師あり学習の枠組みで、行列分解のタスクに訓練される。
• ネットワークは入力行列に関して連続であるように設計されており、入力の微小な変更が小さな出力変更をもたらすことを保証する。
• 理論的分析には、幾何的深層学習問題における、本稿で初めての普遍的近似定理と、独立同分布（i.i.d.）サンプリングの下での最適解への収束保証が含まれる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、未観測の正定値行列に対しても、ロバストなPCAに一般化できるか？
• RQ2 提案されたアーキテクチャは、古典的ソルバーと比較して、高い分解精度に加え、ほぼ即時の推論速度を達成できるか？
• RQ3 深層学習ベースのRPCA手法の表現力と収束性について、理論的保証を確立できるか？
• RQ4 ネットワークは、入力行列の小さな摂動に対してどれほどロバストか？また、アーキテクチャは出力の連続性を保証するか？
• RQ5 この手法は、正定値行列に限らず、一般の行列に対しても拡張可能か？

主な発見

• Denise は、低ランク成分およびスパース成分の精度という点で、分解品質において最先端の水準に達している。
• ベンチマークタスクにおいて、主成分追跡（PCP）の約2000倍、高速PCPの約200倍の高速性を達成している。
• 理論的分析により、正定値行列上の幾何的RPCA問題におけるネットワークの普遍的近似能力が確認された。
• ネットワーク出力は、入力行列に関して連続であり、小さな摂動に対しても安定性が保証されている。
• 独立同分布（i.i.d.）サンプリングの仮定の下で最適解への収束が証明されており、損失関数はネットワークの深さが増すにつれて最小値に収束する。
• 訓練後、未観測の行列に対しても一般化可能であり、推論には前方伝搬（フォワードパス）のみが必要であるため、オンラインおよびリアルタイム応用に適している。