[論文レビュー] Task-Aware Compressed Sensing with Generative Adversarial Networks

Maya Kabkab, Pouya Samangouei+1 more|arXiv (Cornell University)|Feb 5, 2018

Sparse and Compressive Sensing Techniques被引用数 24

ひとこと要約

本稿では、圧縮測定値の回復に特に最適化された、タスクに適応した生成対抗ネットワーク（CSGAN）を提案する。この手法は、GANのトレーニングを圧縮測定値回復のタスクに特化させることで、再構成と推論を同時に最適化する。最小限の非圧縮データで最先端の再構成性能を達成でき、また非常に少ない測定値でも下流分類タスクに適した判別性のある潜在空間を実現する。

ABSTRACT

In recent years, neural network approaches have been widely adopted for machine learning tasks, with applications in computer vision. More recently, unsupervised generative models based on neural networks have been successfully applied to model data distributions via low-dimensional latent spaces. In this paper, we use Generative Adversarial Networks (GANs) to impose structure in compressed sensing problems, replacing the usual sparsity constraint. We propose to train the GANs in a task-aware fashion, specifically for reconstruction tasks. We also show that it is possible to train our model without using any (or much) non-compressed data. Finally, we show that the latent space of the GAN carries discriminative information and can further be regularized to generate input features for general inference tasks. We demonstrate the effectiveness of our method on a variety of reconstruction and classification problems.

研究の動機と目的

• 圧縮測定値からの信号回復に特化して最適化された、タスクに適応したGANを用いて、圧縮測度の再構成性能を向上させること。
• 非圧縮データが不足する状況でも、圧縮測定値のみまたは少量の非圧縮データで効果的にGANをトレーニングできるようにすること。
• 下流の分類タスク（例：分類）に適した判別性のある情報を保持するように、GANの潜在空間を正則化すること。
• 潜在コードが完全な信号再構成を必要とせずに、再構成と一般化された推論の両方で使用可能であることを示すこと。

提案手法

• 生成器がデータ分布をモデル化するのではなく、圧縮測定値から信号を再構成することを最適化する、エンドツーエンドでタスクに適応したGANをトレーニングする。
• 非圧縮データが不足または存在しない状況でもトレーニング可能となるように、圧縮データに特化した第二のディスクラミネーターを導入する。
• 類似したクラスが近い潜在表現を持つように促すために、対照的損失（contrastive loss）を用いて潜在空間を正則化する。
• 再構成は、min_z ||A G(z) - y||² を解くことで行う。ここで、G(z) は生成器の出力、y は圧縮測定ベクトルである。
• 分類器（例：LeNet）の入力として、学習済みの潜在コード z を使用して下流の推論タスクを実行する。
• 再構成損失と対照的分類損失を組み合わせたハイブリッド損失を用いて、GANと分類器を同時にトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのGANと比較して、タスクに適応した方法でGANをトレーニングすることで、圧縮測度の再構成性能が向上するか？
• RQ2 非圧縮データにアクセスできない状況でも、圧縮測定値のみでGANを効果的にトレーニングできるか、その程度はどの程度か？
• RQ3 タスクに適応したGANの潜在空間を、分類のような判別性のある推論タスクをサポートするように正則化できるか？
• RQ4 分類用の対照的損失を追加することで、再構成品質が劣化するか？

主な発見

• CSGANは、[Bora et al., 2017] のベースライン手法と比較して、特に測定数が少ない場合（例：m = 8）に顕著に低い再構成誤差を達成する。
• 非圧縮画像を10枚のみ使用し、残りを圧縮データとして用いた場合、CSGANはF-MNISTで50-NN分類器を用いて39.37%の分類精度を達成し、DCGANの30.19%を上回る。
• m = 200の場合、対照的損失の追加によりMNISTでの分類精度が38.14%から64.56%に向上したが、再構成誤差（ピクセルあたり0.0179 MSE）は低く維持された。
• 単純な50-NN分類器でさえ、CSGANの潜在空間がDCGANよりも同クラスのサンプルをより密にクラスタリングしていることを示しており、有効な分離性が確認された。
• MNISTでは400測定値でピクセル単位の平均二乗誤差が0.0169に低下し、対照的正則化子が再構成品質に悪影響を及げないことが示された。
• CelebAにおける定性的な結果では、CSGANが圧縮測定値から、低mでも現実的で高精度の再構成を生成していることが確認された。