[論文レビュー] Subspace Tracking from Missing and Outlier Corrupted Data.

Praneeth Narayanamurthy, Vahid Daneshpajooh+1 more|arXiv (Cornell University)|Oct 6, 2018

Sparse and Compressive Sensing Techniques参考文献 39被引用数 2

ひとこと要約

本稿では、欠損値および外れ値による汚染を受けるデータからの部分空間追跡のための、証明可能に正しい、メモリ効率の良いアルゴリズムを提案する。これは、単純な修正により先行するロバスト部分空間追跡手法を拡張したものであり、欠損データ下での部分空間追跡に対して、初めて完全な理論的保証を提供する。部分空間が時間とともに区分的定数的に変化する場合でも、正確な部分空間推定が保証される。

ABSTRACT

We study the problem of subspace tracking in the presence of missing data (ST-miss). In recent work, we studied a related problem called robust ST. In this work, we show that a simple modification of our robust ST solution also provably solves ST-miss and robust ST-miss. To our knowledge, our result is the first `complete' guarantee for ST-miss. This means that we can prove that under assumptions on only the algorithm inputs, the output subspace estimates are close to the true data subspaces at all times. Our guarantees hold under mild and easily interpretable assumptions, and allow the underlying subspace to change with time in a piecewise constant fashion. In contrast, all existing guarantees for ST are partial results and assume a fixed unknown subspace. Extensive numerical experiments are shown to back up our theoretical claims. Finally, our solution can be interpreted as a provably correct mini-batch and memory-efficient solution to low-rank Matrix Completion (MC).

研究の動機と目的

• 欠損データおよび外れ値が存在する状況における部分空間追跡の課題に取り組むこと。これは、包括的な理論的保証が欠如している問題である。
• 既存のロバスト部分空間追跡ソリューションを、欠損データを扱えるようにするための最小限のアルゴリズム的修正により拡張すること。
• 部分空間推定が常に真の部分空間に近く保たれることを保証する完全な理論的保証を提供すること。これは、ややきわめて解釈可能な仮定の下で有効である。
• 部分空間が区分的定数的に変化する時間変動部分空間を追跡できることを可能にし、先行研究における固定部分空間仮定の制限を克服すること。
• 大規模およびストリーミングデータ用途に適した、ミニバッチおよびメモリ効率の良いソリューションを開発すること。

提案手法

• 更新ルールへの単純な修正を施すことにより、以前に開発されたロバスト部分空間追跡アルゴリズムを欠損データに対応可能に変更する。
• 低ランク行列補完フレームワークを根幹のメカニズムとして用い、アルゴリズムがメモリ効率的であり、ストリーミングデータに適していることを保証する。
• 欠損値と外れ値の両方を同時に処理するためのロバスト最適化フレームワークを統合し、ロバストなコスト関数を最小化する。
• インクリメンタル処理を可能にし、計算負荷を低減するためのミニバッチ更新戦略を適用する。
• 入力データ構造に関する仮定（例えば、欠損の有界性、部分空間の区分的定数的変化）を活用し、理論的収束保証を導出する。
• ややきわめて解釈可能な条件下で、各時刻における推定部分空間が真の部分空間に近く保たれることを証明することで、理論的安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 証明可能な理論的保証を伴うロバスト部分空間追跡アルゴリズムを、欠損データに対応可能に拡張できるか？
• RQ2 欠損データが存在する状況でも、時間経過に伴い正確かつ安定した部分空間推定を保証するために、入力データに必要な仮定は何か？
• RQ3 部分空間が区分的定数的に変化する時間変動部分空間を扱えるか、かつ理論的に正しく保たれるか？
• RQ4 理論的完全性および実用的効率の観点から、本手法は既存の手法とどのように比較できるか？
• RQ5 このソリューションは、低ランク行列補完のためのミニバッチかつメモリ効率の良いソリューションとして、どの程度解釈可能か？

主な発見

• 提案手法は、欠損データからの部分空間追跡に対して、初めて完全な理論的保証を提供する。これにより、推定部分空間が常に真の部分空間に近く保たれることが保証される。
• 部分空間が時間経過に伴い区分的定数的に変化する場合でも、ややきわめて解釈可能な仮定の下で、アルゴリズムは正確性を維持する。
• 証明可能に正しい、かつメモリ効率の良いソリューションであるため、大規模およびストリーミングデータ用途に適している。
• 既存のロバスト部分空間追跡フレームワークに対する単純な修正により、欠損データおよび外れ値の両方に対してロバストである。
• 広範な数値実験により理論的主張が検証され、さまざまなデータ汚染シナリオにおいて一貫した性能を示した。
• 本手法は、部分空間追跡を超えて、低ランク行列補完のためのミニバッチかつメモリ効率の良いソリューションとして解釈可能であり、その適用範囲を拡張した。