[論文レビュー] Denise: Deep Learning based Robust PCA for Positive Semidefinite Matrices.

Calypso Herrera, Florian Krach+1 more|arXiv (Cornell University)|Apr 28, 2020

Sparse and Compressive Sensing Techniques参考文献 26被引用数 7

ひとこと要約

Deniseは、対称正定値行列に対する深層学習ベースのロバストPCA手法を導入し、低ランク＋スパース分解を実行する汎用関数を学習する。行列固有のアルゴリズムとは異なり、一度の学習フェーズを経て、オーダー・オブ・マグニチュード速い推論を実現しながら、最先端の分解品質を達成する。

ABSTRACT

The robust PCA of high-dimensional matrices plays an essential role when isolating key explanatory features. The currently available methods for performing such a low-rank plus sparse decomposition are matrix specific, meaning, the algorithm must re-run each time a new matrix should be decomposed. Since these algorithms are computationally expensive, it is preferable to learn and store a function that instantaneously performs this decomposition when evaluated. Therefore, we introduce Denise, a deep learning-based algorithm for robust PCA of symmetric positive semidefinite matrices, which learns precisely such a function. Theoretical guarantees that Denise's architecture can approximate the decomposition function, to arbitrary precision and with arbitrarily high probability, are obtained. The training scheme is also shown to convergence to a stationary point of the robust PCA's loss-function. We train Denise on a randomly generated dataset, and evaluate the performance of the DNN on synthetic and real-world covariance matrices. Denise achieves comparable results to several state-of-the-art algorithms in terms of decomposition quality, but as only one evaluation of the learned DNN is needed, Denise outperforms all existing algorithms in terms of computation time.

研究の動機と目的

• 各新しい行列に対して再計算を要する従来の行列固有のロバストPCAアルゴリズムの計算非効率性を解消すること。
• 任意の対称正定値行列を低ランク成分とスパース成分に即座に分解できる汎用的な深層ニューラルネットワーク（DNN）関数の開発。
• Deniseのアーキテクチャが、高確率で任意の精度に限りなく近づける真の分解関数を近似可能であるという理論的保証の提示。
• 学習プロセスがロバストPCA損失関数の停留点に収束することの保証。
• 合成および実世界の共分散行列において、競争力のある分解精度を維持しながら、優れた推論速度を示すこと。

提案手法

• 対称正定値行列に特化した深層ニューラルネットワークアーキテクチャを設計し、低ランク＋スパース分解関数を学習する。
• 既知の低ランクおよびスパース成分を備えた、ランダムに生成された正定値行列の大量データセット上でDNNを学習する。
• 標準的なロバストPCAの目的関数に一致する損失関数を用い、正確な分解へ向かう学習を誘導する。
• ロバストPCA損失関数の停留点に収束する学習スキームの理論的収束を証明する。
• Deniseが、高確率で任意の精度に限りなく近づける真の分解関数を近似可能であるという理論的近似保証を確立する。
• 合成および実世界の共分散行列における推論性能を評価し、速度と正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、行列固有の再計算を回避する対称正定値行列におけるロバストPCAを実行する汎用関数を学習可能か？
• RQ2 提案されたDNNアーキテクチャは、任意の精度と高確率で真の分解関数を近似可能であるという理論的保証を提供するか？
• RQ3 Deniseの学習プロセスは、ロバストPCA損失関数の停留点に収束するか？
• RQ4 合成および実世界の共分散行列において、Deniseの分解品質は、最先端の行列固有のロバストPCAアルゴリズムと比較してどうか？
• RQ5 Deniseは、競争力のある正確性を維持しながら、既存手法に比べてどの程度推論速度で優れているか？

主な発見

• Deniseは、合成および実世界の共分散行列において、行列固有の最先端ロバストPCAアルゴリズムと同等の分解品質を達成する。
• DNNベースのアプローチにより、学習後は即座の推論が可能となり、反復的で行列固有のアルゴリズムに比べて著しく高速な計算が実現される。
• 理論的分析により、Deniseのアーキテクチャが、高確率で任意の精度に限りなく近づける真の分解関数を近似可能であることが確認された。
• 学習プロセスがロバストPCA損失関数の停留点に収束することが証明された。
• Deniseは優れた推論速度を示し、学習後の単一評価要件のため、すべての既存アルゴリズムを計算時間において上回った。
• 再訓練なしに、さまざまな正定値行列に良好に一般化される。