[論文レビュー] Tensor Robust Principal Component Analysis: Better recovery with atomic norm regularization

Derek Driggs, Stephen Becker+1 more|arXiv (Cornell University)|Jan 30, 2019

Sparse and Compressive Sensing Techniques参考文献 35被引用数 6

ひとこと要約

本稿では、欠損データから低ランクおよびスパースなテンソル成分を回復するために、アトムノルム正則化を用いたテンソルロバスト主成分分析（RPCA）手法を提案する。本研究は、テンソルRPCAにおける性能保証を初めて確立し、行列ベースおよびマトリシゼーションベースの手法よりも優れた回復性能を示す。また、すべての局所最適解が大域最適解である非凸形式を導入することで、高ランクテンソルの効率的かつ正確な回復を可能にする。

ABSTRACT

This paper studies tensor-based Robust Principal Component Analysis (RPCA) using atomic-norm regularization. Given the superposition of a sparse and a low-rank tensor, we present conditions under which it is possible to exactly recover the sparse and low-rank components. Our results improve on existing performance guarantees for tensor-RPCA, including those for matrix RPCA. Our guarantees also show that atomic-norm regularization provides better recovery for tensor-structured data sets than other approaches based on matricization. In addition to these performance guarantees, we study a nonconvex formulation of the tensor atomic-norm and identify a class of local minima of this nonconvex program that are globally optimal. We demonstrate the strong performance of our approach in numerical experiments, where we show that our nonconvex model reliably recovers tensors with ranks larger than all of their side lengths, significantly outperforming other algorithms that require matricization.

研究の動機と目的

• 行列ベースおよびマトリシゼーションベースの手法よりも優れた回復性能を実現する、高次構造を保全するロバストなテンソルRPCA手法の開発。
• アトムノルム正則化を用いたテンソルRPCAの理論的性能保証を確立し、既存のテンソルおよび行列RPCAの境界を改善する。
• 局所最適解が大域最適解を保つ非凸最適化形式を設計し、効率的な計算を可能にする。
• 既存手法が失敗する、タッカー・ランクがフルランクで、CPランクが側面長を超過するテンソルの回復における本手法の有効性を実証する。
• トピックモデリングを含む潜在変数モデルへの応用により、より高いロバスト性と解釈可能性を示す。

提案手法

• テンソルランクの凸緩和としてのテンソルアトムノルムを用い、核ノルムを高次元テンソルに一般化する。
• 凸最適化問題を解く：データ整合性を満たす条件下で、テンソルアトムノルムとスパース成分のl1ノルムの和を最小化する。
• 低ランクテンソルを低ランク要因の積としてパラメータ化する高次元Burer-Monteiro因子分解を用いた非凸形式を提案する。
• 特定の条件下で、非凸プログラムのすべての局所最適解が大域最適解であることを確立する。
• スケーラブルで効率的な計算を実現するため、非凸形式に対して一次最適化手法を採用する。
• 不安定なホワイトニングステップを回避するため、潜在変数モデルにおけるモーメントテンソル分解に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 マトリシゼーションベースの手法と比較して、テンソルRPCAにおけるアトムノルム正則化が、低ランクテンソル分解においてより優れた回復性能を達成できるか？
• RQ2 テンソルアトムノルムを用いたテンソルRPCAに対して、どのような理論的性能保証を確立できるか？
• RQ3 テンソルRPCAの非凸形式が、局所最適解の大域最適性を保つことができるか？ これにより、効率的かつ信頼性の高い回復が可能か？
• RQ4 CPランクがすべての側面長を超過するテンソルに対して、本手法はどのように性能を示すか？ ここで、和の核ノルムモデルは不適切である。
• RQ5 トピックモデルのような潜在変数モデルにおいて、テンソルRPCAは、スパースな欠損下でも効果的にパラメータ推定に利用できるか？

主な発見

• 提案手法であるアトムノルム正則化付きテンソルRPCAは、既存手法（行列RPCAやマトリシゼーションベース手法含む）よりも優れた回復保証を達成する。
• 本手法は、タッカーランクがフルランクであるテンソルでさえも、CPランクがすべての側面長を超過する場合でも正常に回復でき、和の核ノルムモデルが失敗する領域でも有効である。
• 数値実験の結果、本手法は変分ベイズ（1417）およびテンソルCPD（1503）よりも低いパープレキシティ（1309）と、より良いトピックコherenecを達成し、分解時間も速い（5.13秒 vs. 44.71秒）。
• 非凸形式により、検証可能な条件下ですべての局所最適解が大域最適解であることが保証され、一次最適化手法による信頼性の高い収束が可能である。
• 不安定なホワイトニングステップを回避し、潜在分布の線形独立性を仮定せず、モーメントテンソル推定においてもロバストである。
• タッカーランクに関しては性能保証がタイトであるが、CPランクに関してはまだ鋭くない。今後の分析において、アトムランクまたはCPランクの観点からの精密化が求められる。