[論文レビュー] Deep Compressed Sensing

Yan Wu, Mihaela Rosca+1 more|arXiv (Cornell University)|May 16, 2019

Sparse and Compressive Sensing Techniques被引用数 58

ひとこと要約

本論文は Deep Compressed Sensing (DCS) を提案し、測定ネットワークと再構成ネットワークの両方をメタ学習でエンドツーエンドで訓練することで、従来の CS 手法と比較して速度と精度を向上させ、学習された測定目的により GAN の派生を可能にする。

ABSTRACT

Compressed sensing (CS) provides an elegant framework for recovering sparse signals from compressed measurements. For example, CS can exploit the structure of natural images and recover an image from only a few random measurements. CS is flexible and data efficient, but its application has been restricted by the strong assumption of sparsity and costly reconstruction process. A recent approach that combines CS with neural network generators has removed the constraint of sparsity, but reconstruction remains slow. Here we propose a novel framework that significantly improves both the performance and speed of signal recovery by jointly training a generator and the optimisation process for reconstruction via meta-learning. We explore training the measurements with different objectives, and derive a family of models based on minimising measurement errors. We show that Generative Adversarial Nets (GANs) can be viewed as a special case in this family of models. Borrowing insights from the CS perspective, we develop a novel way of improving GANs using gradient information from the discriminator.

研究の動機と目的

• 従来の圧縮センシングの限界（スパース性の仮定と再構成の遅さ）を動機づける。
• CS 内で測定関数とニューラルネットワーク生成器の両方を訓練する枠組みを開発し、再構成の速度と精度を向上させる。
• 再構成の潜在最適化をメタ学習によって加速できることを示す。
• 学習された測定と識別器/分類器の指針を用いて、CS-GAN および CS-SGAN を含む一連のモデルを導出・評価する。

提案手法

• ジェネレーター G_theta と再構成潜在最適化プロセスを共同訓練することで、Deep Compressed Sensing (DCS) を定式化する。
• 測定損失 L_F を介して距離保持性（RIP に似た性質）を課し、F_phi を訓練する／F_phi をニューラルネットワークとして学習する。
• モデルに依存しないメタ学習（MAML風）を取り入れ、潜在最適化ステップを逆伝播可能にして、必要な勾配ステップ数を減らす。
• 測定損失を識別器に Guided の目的関数に置換して CS-GAN を導出し、潜在最適化をGAN訓練と結びつける。
• 測定にクラス情報を保持させるために多クラス分類器を用いて CS-SGAN に拡張し、半教師あり GAN の挙動を可能にする。
• 固定測定関数または学習済測定関数のいずれかで訓練するアルゴリズム（Algorithm 1 および Algorithm 2）を提供する。

実験結果

リサーチクエスチョン

• RQ1 潜在最適化プロセスのメタ学習は、標準の勾配降下法と比較して深層圧縮感性における再構成を加速できるか？
• RQ2 学習可能な測定を介して RIP に似た性質を強制することは、ランダム測定より再構成品質を向上させるか、どの条件下で？
• RQ3 識別器に導かれた潜在最適化は、バニラGANと比較してGAN訓練の安定性とサンプル品質を向上させるか？
• RQ4 DCS フレームワークを半教師あり GAN に拡張して意味論的に有意な潜在空間を生成できるか？
• RQ5 MNIST や CelebA のような画像データに対する再構成と GAN パフォーマンスにおける学習測定関数の効果は何か？

主な発見

• DCS は Bora らのベースラインに対して再構成性能を大幅に改善し、再スタートなしで非常に少ない潜在最適化ステップ数（3ステップ）を使用する。
• 学習された測定函数 は最適化時にランダム射影を上回り、ニューラル測定モデルは画像のような構造化データに特に有効で結果をさらに改善できる。
• CS-GAN における潜在最適化は、GAN 指標（IS および FID）を改善し、バニラ GAN よりもモード崩壊をより効果的に回避し、ハイパーパラメータの範囲全体で改善が持続する。
• CS-GAN は強力なベースライン（SN-GAN）を上回り、スペクトル正規化とより大きなアーキテクチャと組み合わせると競争力のある結果を達成できる。
• CS-SGAN は潜在最適化が意味論的に構造化された潜在空間を生み出し、生成サンプルのクラス分離をより明確にすることを示す（例：MNIST の数字）。
• 本論文は、GAN が DCS パラダイム内で特定の性質（有効性保持またはクラス保持）を保持する測定の特別な場合として現れる統一的な枠組みを提供する。