[論文レビュー] Robust compressed sensing of generative models.

Ajil Jalal, Liu Liu+2 more|arXiv (Cornell University)|Jun 16, 2020

Sparse and Compressive Sensing Techniques参考文献 71被引用数 8

ひとこと要約

本論文は、深層生成モデルを事前分布として用いることで、重タール型または汚染された測定値に対しても、高次元信号を信頼性高く回復できる、MOM（中央値の中央値）にインspiredされたアルゴリズムを提案する。この手法は、サブガウス型仮定下でも、従来の経験的リスク最小化（ERM）と同等のサンプル複雑性を達成しながら、外れ値に対して高いロバスト性を維持する。

ABSTRACT

The goal of compressed sensing is to estimate a high dimensional vector from an underdetermined system of noisy linear equations. In analogy to classical compressed sensing, here we assume a generative model as a prior, that is, we assume the vector is represented by a deep generative model $G: \mathbb{R}^k ightarrow \mathbb{R}^n$. Classical recovery approaches such as empirical risk minimization (ERM) are guaranteed to succeed when the measurement matrix is sub-Gaussian. However, when the measurement matrix and measurements are heavy-tailed or have outliers, recovery may fail dramatically. In this paper we propose an algorithm inspired by the Median-of-Means (MOM). Our algorithm guarantees recovery for heavy-tailed data, even in the presence of outliers. Theoretically, our results show our novel MOM-based algorithm enjoys the same sample complexity guarantees as ERM under sub-Gaussian assumptions. Our experiments validate both aspects of our claims: other algorithms are indeed fragile and fail under heavy-tailed and/or corrupted data, while our approach exhibits the predicted robustness.

研究の動機と目的

• 測定値が重タール型または外れ値を含む場合に、古典的な圧縮センシング手法の脆弱性を解消すること。
• 非サブガウス型の測定ノイズや汚染に対しても性能を維持できる回復アルゴリズムの開発。
• 重タール型および汚染されたデータ下で、生成モデル事前分布を用いたロバストな回復の理論的保証を提供すること。
• 外れ値に対してロバストである一方で、ERMと同等のサンプル複雑性を達成すること。

提案手法

• 重タール型または汚染された測定値への感受性を低減するために、中央値の中央値（MOM）フレームワークを採用する。
• 測定データを複数のサブセットに分割し、中央値に基づく損失推定値を計算することで、外れ値の影響を軽減する。
• 深層生成モデル $ G: \mathbb{R}^k \to \mathbb{R}^n $ の潜在空間上で、MOMに基づく経験的リスクを最適化する。
• 理論的分析により、サブガウス型仮定下で、この手法がERMと同等のサンプル複雑性を達成することが示された。
• 生成モデルの事前分布を活用することで、環境次元よりも少ない測定数からも信号回復が可能になる。

実験結果

リサーチクエスチョン

• RQ1 重タール型の測定ノイズ下でも、圧縮センシングアルゴリズムが回復精度を維持できるか？
• RQ2 提案されたMOMベースの手法は、サブガウス型条件のもとで、ERMと同等のサンプル複雑性を達成するか？
• RQ3 標準的なERMベースの手法と比較して、外れ値が存在する状況下でのアルゴリズムの性能は？
• RQ4 測定値が汚染されている場合に、生成モデルを効果的にロバストな信号回復に応用できるか？

主な発見

• 提案されたMOMベースのアルゴリズムは、測定値が重タール型または外れ値を含む状況下でも、不定方程式系からも信号を正常に回復できる。
• サブガウス型仮定下では、経験的リスク最小化（ERM）と同等のサンプル複雑性を達成しており、理論的効率性が保証されている。
• 実験により、標準的なERMベースの手法は重タール型または汚染されたデータ下で失敗する一方で、本手法は依然としてロバストであることが確認された。
• 外れ値や重タール型ノイズの度合いが変化する状況でも、一貫した性能を示す実験的結果を通じて、アルゴリズムのロバスト性が検証された。