[論文レビュー] Robust Compressed Sensing using Generative Models

Ajil Jalal, Liu Liu+2 more|arXiv (Cornell University)|Jun 16, 2020

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、生成モデルを用いた頑健な圧縮センシングアルゴリズムを提案する。標準的な経験的リスク最小化（ERM）に代えて、中央値の平均（MOM）損失を導入することで、測定値および測定行列に重ね尾のノイズや任意の外れ値が存在する状況下でも復元が保証される。サブガウス型の仮定下では、ERMと同等のサンプル複雑度 $m = O(kd\log n)$ を達成しつつ、制限固有値条件（S-REC）が成立しなくなる場合でさえも頑健性を維持する。

ABSTRACT

The goal of compressed sensing is to estimate a high dimensional vector from an underdetermined system of noisy linear equations. In analogy to classical compressed sensing, here we assume a generative model as a prior, that is, we assume the vector is represented by a deep generative model $G: \mathbb{R}^k ightarrow \mathbb{R}^n$. Classical recovery approaches such as empirical risk minimization (ERM) are guaranteed to succeed when the measurement matrix is sub-Gaussian. However, when the measurement matrix and measurements are heavy-tailed or have outliers, recovery may fail dramatically. In this paper we propose an algorithm inspired by the Median-of-Means (MOM). Our algorithm guarantees recovery for heavy-tailed data, even in the presence of outliers. Theoretically, our results show our novel MOM-based algorithm enjoys the same sample complexity guarantees as ERM under sub-Gaussian assumptions. Our experiments validate both aspects of our claims: other algorithms are indeed fragile and fail under heavy-tailed and/or corrupted data, while our approach exhibits the predicted robustness.

研究の動機と目的

• 測定値または測定行列が重ね尾分布を示す、あるいは外れ値によって汚染される場合に、既存の生成モデルを用いた圧縮センシング手法の脆弱性を是正すること。
• 弱いモーメント仮定下でも理論的保証を維持できる、経験的リスク最小化（ERM）の代替となる頑健な手法を開発すること。
• サブガウス型仮定下ではERMと同等のサンプル複雑度を達成しつつ、重ね尾のノイズおよび悪意のある汚染に対して耐性を持つこと。
• 実験的に、提案手法のMOMベースのアルゴリズムが、重ね尾分布および汚染されたデータ下でERMよりも再構成誤差が小さいことを確認すること。

提案手法

• 標準的なERMに代えて、外れ値や重ね尾分布への感受性を低減する中央値の平均（MOM）損失関数を採用する。
• 測定行列 $A$ および測定値 $y$ に任意の汚染が存在する状況下でも頑健性を確保するため、MOMトーナメントにインspiredしたミニマックス最適化フレームワークを用いる。
• 集合制限固有値条件（S-REC）に依存しない、新しい分析的手法を適用し、非サブガウス型仮定下でS-RECが成立しなくなる場合の問題を回避する。
• 未知の信号 $x^*$ の事前分布として、ReLU活性化関数を用いた深層生成モデル $G: \mathbb{R}^k \to \mathbb{R}^n$ を採用する。
• AdamやYellowfinなどの標準的な最適化ツールを用いて実装し、ERMと比較して計算オーバーヘッドを最小限に抑える。
• サブセットごとの損失推定値の中央値を計算するためのパーティショニング戦略を採用し、弱いモーメント条件下でも安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルを用いた圧縮センシングは、測定値および測定行列に重ね尾のノイズや任意の外れ値が存在する状況でも頑健に動作するようにできるか？
• RQ2 MOMベースのアルゴリズムは、サブガウス型仮定下ではERMと同等のサンプル複雑度を達成しつつ、非サブガウス型データに対しても頑健であるか？
• RQ3 S-RECが成立しなくなる弱いモーメント仮定下でも、提案手法は真の信号を理論的に復元できる保証があるか？
• RQ4 重ね尾分布および汚染されたデータ下で、提案手法は再構成誤差の観点からERMよりも優れているか？

主な発見

• 提案手法のMOMベースのアルゴリズムは、重ね尾のノイズおよび任意の汚染下でも、$m = O(kd\log n)$ の測定数で $\|G(\widehat{z}) - G(z^*)\|^2 \leq O(\sigma^2 + \tau)$ を達成する。
• S-RECに依存しないにもかかわらず、サブガウス型仮定下ではERMと同等のサンプル複雑度を維持する。
• MNISTデータセットにおいて、$A$ と $\eta$ が重ね尾分布に従う状況下で、提案手法は varying $m$ に対してERMよりも顕著に低い再構成誤差を達成する。
• 256 \times 256 \times 3 の画像を含むCelebA-HQデータセットにおいて、外れ値のない重ね尾分布データ下でも競争力のある性能を示し、汚染下では優れた頑健性を示す。
• 実験的結果から、ERMは重ね尾分布および汚染されたデータ下で著しく失敗する一方、MOMベースの手法は安定かつ正確に動作することが確認された。
• 理論的分析から、S-RECを回避すれば、標準的なERMも弱いモーメント仮定下では依然として成功する可能性があることが示され、サブガウス型設定を超えたより広範な適用可能性が示唆された。