[論文レビュー] Nonconvex Low-Rank Matrix Recovery with Arbitrary Outliers via Median-Truncated Gradient Descent

Yuanxin Li, Yuejie Chi+2 more|arXiv (Cornell University)|Sep 23, 2017

Sparse and Compressive Sensing Techniques参考文献 34被引用数 5

ひとこと要約

本稿は、任意の外れ値が存在する状況下でもロバストな非凸低ランク行列回復を実現するための中央値トリケート勾配降下法（median-TGD）を提案する。残差が中央値から大きく離れたサンプルを適応的に除外することで、真の解への線形収束が達成され、外れ値の割合が一定である場合でも、ほぼ最適なサンプル複雑度を達成する。

ABSTRACT

Recent work has demonstrated the effectiveness of gradient descent for directly recovering the factors of low-rank matrices from random linear measurements in a globally convergent manner when initialized properly. However, the performance of existing algorithms is highly sensitive in the presence of outliers that may take arbitrary values. In this paper, we propose a truncated gradient descent algorithm to improve the robustness against outliers, where the truncation is performed to rule out the contributions of samples that deviate significantly from the {\em sample median} of measurement residuals adaptively in each iteration. We demonstrate that, when initialized in a basin of attraction close to the ground truth, the proposed algorithm converges to the ground truth at a linear rate for the Gaussian measurement model with a near-optimal number of measurements, even when a constant fraction of the measurements are arbitrarily corrupted. In addition, we propose a new truncated spectral method that ensures an initialization in the basin of attraction at slightly higher requirements. We finally provide numerical experiments to validate the superior performance of the proposed approach.

研究の動機と目的

• 低ランク行列回復における標準的な非凸勾配降下法が任意の外れ値に対して感受性を示す問題を解決する。
• 測定値の一定割合が敵対的汚染を受けても、グローバル収束を維持できるロバストな最適化フレームワークを構築する。
• 中央値に基づくトリケーションによってロバスト性を向上させつつ、ほぼ最適なサンプル複雑度で収束を保証する。
• わずかに強い条件下で、吸引域への収束を保証する新しいトリケートスペクトル法による初期化を提供する。
• 中央値に基づくトリケーションが、初期化および勾配更新の両方で外れ値の影響を抑える有効性を実証する。

提案手法

• 残差が中央値に基づくしきい値内にあるサンプルのみを対象に勾配更新を計算する中央値トリケート勾配降下（median-TGD）を提案する。
• 各反復で現在の測定残差の中央値に基づいてサンプルを適応的にトリケートし、外れ値の影響を低減する。
• 中央値に近い残差を持つサンプルのみを選択するトリケートスペクトル法を初期化に導入し、ロバストな初期化を実現する。
• 中央値に基づくトリケーションを初期化および局所探索ステップの両方で活用し、重い尾や敵対的逸脱に対して強い中央値の性質を活かす。
• トリケーションしきい値を反復ごとに動的に更新することで、汚染パターンを事前に知らなくても、適応的に外れ値を除外可能である。
• 理論的分析では、集中不等式および行列の逸脱バウンドを用いて、ガウス測定モデル下でトリケートされた反復列が真の低ランク行列に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列回復の勾配降下法を、収束保証を失わずに任意の外れ値に対してロバストにできるか？
• RQ2 敵対的汚染下で、勾配更新における中央値ベースのトリケーションは、標準的勾配降下に比べてロバスト性を向上させるか？
• RQ3 測定値の一定割合が汚染されている場合、median-TGDが線形収束するためのサンプル複雑度はどの程度か？
• RQ4 トリケートスペクトル法は、median-TGDの吸引域内に反復列を配置する信頼できる初期化を提供できるか？
• RQ5 計算効率およびロバスト性の観点から、median-TGDは凸ロバスト法と比較してどの程度優れているか？

主な発見

• 提案されたmedian-TGDアルゴリズムは、吸引域に初期化された場合、測定値の一定割合が任意に汚染されていても、真の解へ線形速度で収束する。
• 本手法はほぼ最適なサンプル複雑度を達成し、ランク $ r $ の $ n imes n $ 低ランク行列に対して、$ O(n ext{ polylog}(n)) $ 測定値で十分である。
• トリケートスペクトル初期化により、標準的初期化よりもわずかに強い条件下で吸引域への収束が保証される。
• 理論的分析により、トリケートされた勾配更新が、中央値から著しく逸脱した残差を持つサンプルを除外することで、安定性を維持することが示された。
• 数値実験により、外れ値汚染下において、標準的非凸的手法および凸的手法に比べ、median-TGDの優れたロバスト性と収束速度が検証された。
• アルゴリズムのロバスト性は、中央値が外れ値に対して耐性を持つことにある。これは、外れ値が半数を超えてない限り、中央値が任意に変更されないためである。