[論文レビュー] Modeling Sparse Deviations for Compressed Sensing using Generative Models

Manik Dhar, Aditya Grover+1 more|arXiv (Cornell University)|Jul 4, 2018

Sparse and Compressive Sensing Techniques被引用数 25

ひとこと要約

この論文は、深層生成モデルとスパース偏差モデルを組み合わせることで、生成器のサポートを超えて正確な信号再構成を可能にする圧縮センシングフレームワーク、Sparse-Genを提案する。信号を $ G(\hat{z}) + \hat{\nu} $ としてモデル化し、$ \ell_1 $-正則化されたスパース偏差 $ \hat{\nu} $ を用いることで、LASSO や標準的な生成モデルベース手法に比べて優れた再構成精度を達成し、特に限られたターゲットドメインデータを有する転送センシング設定において顕著である。

ABSTRACT

In compressed sensing, a small number of linear measurements can be used to reconstruct an unknown signal. Existing approaches leverage assumptions on the structure of these signals, such as sparsity or the availability of a generative model. A domain-specific generative model can provide a stronger prior and thus allow for recovery with far fewer measurements. However, unlike sparsity-based approaches, existing methods based on generative models guarantee exact recovery only over their support, which is typically only a small subset of the space on which the signals are defined. We propose Sparse-Gen, a framework that allows for sparse deviations from the support set, thereby achieving the best of both worlds by using a domain specific prior and allowing reconstruction over the full space of signals. Theoretically, our framework provides a new class of signals that can be acquired using compressed sensing, reducing classic sparse vector recovery to a special case and avoiding the restrictive support due to a generative model prior. Empirically, we observe consistent improvements in reconstruction accuracy over competing approaches, especially in the more practical setting of transfer compressed sensing where a generative model for a data-rich, source domain aids sensing on a data-scarce, target domain.

研究の動機と目的

• 生成モデルベースの圧縮センシングの限界、すなわち生成器の範囲外の信号を回復できないことに対処すること。
• 深層生成モデルの強いインダクティブバイアスとスパースベクトル回復の柔軟性を組み合わせること。
• 低次元測定要件を維持しつつ、信号空間全体で正確な回復を可能にすること。
• データが少ないターゲットドメインで、ソースドメインの生成モデルが支援する転送圧縮センシングにおける性能を向上させること。
• 標準的なスパarsity や固定された生成器サポートを超えた、新たな信号クラスの圧縮センシングによる回復が理論的・実験的に妥当であることを検証すること。

提案手法

• 信号を $ x = G(\hat{z}) + \hat{\nu} $ としてモデル化し、$ G $ を事前学習済みの深層生成モデルとし、$ \hat{\nu} $ をスパース偏差ベクトルとする。
• 測定値 $ y $ と再構成信号の一致を最小化するため、$ \| y - A(G(\hat{z}) + \hat{\nu}) \|_2^2 + \lambda \| \hat{\nu} \|_1 $ を最小化することで、潜在コード $ \hat{z} $ とスパース偏差 $ \hat{\nu} $ を最適化する。
• 生成モデル $ G $ として変分オートエンコーダー（VAEs）を用い、勾配降下法によるエンドツーエンドの学習と最適化を可能にする。
• 非凸最適化問題として回復問題を定式化し、$ G $ の表現力のある事前分布を活用しつつ、$ \ell_1 $-正則化による偏差の許容を実現する。
• このフレームワークは、$ G(z) = 0 $ のとき LASSO に、$ \hat{\nu} = 0 $ のとき標準的な生成モデル回復に一般化される。
• 転送圧縮センシングにこの手法を適用し、ソースドメインの VAE を微調整またはそのままで、ターゲットドメインの少ないサンプルで信号を測定する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルベースの圧縮センシングを、生成器のサポートを超える信号の回復に拡張できるか？
• RQ2 生成モデルの事前分布からのスパース偏差をモデル化することで、測定数が少ない状況でも再構成精度が向上するか？
• RQ3 提案されたフレームワークは、データが少ないターゲットドメインでソースドメインモデルが支援する転送圧縮センシングに一般化可能か？
• RQ4 この新しい信号モデルにおける再構成誤差に対して、理論的な保証を確立できるか？
• RQ5 Sparse-Gen の性能は、LASSO や標準的な生成モデル回復と比較して、再構成誤差と測定効率の観点でどのように異なるか？

主な発見

• 同じ測定数において、MNIST および Omniglot データセットで Sparse-Gen は LASSO や標準的な生成モデルベース回復より低い再構成誤差を達成した。
• Sparse-Gen の再構成誤差は測定数の増加に従い単調に減少し、$ m = n $ に達すると消失する。これは理論的収束を裏付ける。
• 転送圧縮センシングにおいて、Sparse-Gen はベースライン手法を顕著に上回った。特にターゲットドメインのデータが少ない場合、ソースドメイン VAE からの有効な事前分布のおかげで顕著な性能向上が得られた。
• Sparse-VAE では $ m = 200 $ 測定で性能の遷移が観察され、標準的な生成モデル回復よりもターゲットドメインへの適応が優れていた。
• 実験結果から、このフレームワークが LASSO や標準的な生成モデル回復を特別なケースとして一般化しており、より高いロバスト性と精度を示していることが確認された。
• 理論的分析から、Sparse-Gen モデルにおける最適なデコーダーは $ m \to n $ のとき再構成誤差が消失することを示し、フレームワークの表現力の高さを裏付けた。