[論文レビュー] Model-Aware Deep Architectures for One-Bit Compressive Variational Autoencoding

Shahin Khobahi, Mojtaba Soltanalian|arXiv (Cornell University)|Nov 27, 2019

Sparse and Compressive Sensing Techniques参考文献 39被引用数 11

ひとこと要約

本稿では、1ビット圧縮可視化自己符号化のための感度行列、量子化しきい値、および潜在パラメータを同時に学習するモデルに配慮した深層アーキテクチャを提案する。これにより、1ビット圧縮センシングにおける正確なアモニチュード回復が可能となる。本手法は、深層アンフォールディングと可視化自己符号化の原則を統合することで、最先端のモデルベースおよびデータ駆動型手法と比較して優れた再構成精度と高速な収束を達成する。

ABSTRACT

Parameterized mathematical models play a central role in understanding and design of complex information systems. However, they often cannot take into account the intricate interactions innate to such systems. On the contrary, purely data-driven approaches do not need explicit mathematical models for data generation and have a wider applicability at the cost of interpretability. In this paper, we consider the design of a one-bit compressive variational autoencoder, and propose a novel hybrid model-based and data-driven methodology that allows us not only to design the sensing matrix and the quantization thresholds for one-bit data acquisition, but also allows for learning the latent-parameters of iterative optimization algorithms specifically designed for the problem of one-bit sparse signal recovery. In addition, the proposed method has the ability to adaptively learn the proper quantization thresholds, paving the way for amplitude recovery in one-bit compressive sensing. Our results demonstrate a significant improvement compared to state-of-the-art model-based algorithms.

研究の動機と目的

• 既存の1ビット圧縮センシング手法が固定またはゼロの量子化しきい値によりアモニチュード情報の損失を抱えるという制限を解消すること。
• データ駆動およびモデルベースの原則を用いて、測定モジュール（感度行列としきい値）と再構成ネットワーク（潜在パラメータ）を同時に最適化する共同学習フレームワークを開発すること。
• 可視化自己符号化器アーキテクチャを用いて、量子化しきい値を適応的に学習することで、1ビットCSにおけるアモニチュード回復を可能にすること。
• 既存のモデルベースおよびディープラーニングベースの1ビットCSアルゴリズムと比較して、計算効率と再構成精度を向上させること。
• 訓練時に明示的なスパarsityレベルの監視を施さずに、異なるスパarsityレベルにわたって学習されたパラメータの一般化能力を示すこと。

提案手法

• 訓練データを用いて、感度行列 Φ と量子化しきい値 b を同時に最適化する、ハイブリッドモデル駆動およびデータ駆動型可視化自己符号化器（VAE）フレームワークを提案する。
• 深層アンフォールディング技術をVAEに統合し、適応的ステップサイズ δi と潜在変数を持つ反復的再構成アルゴリズム（例：G-BIHT、LG-BIHT）を学習する。
• 潜在変数上の事後分布を学習するための変分推論目的関数を採用し、感度および再構成コンponentのエンドツーエンド学習を可能にする。
• 1ビット整合性制約 r ⊙ (Φx − b) ⪰ 0 の微分可能定式化を用いて、量子化および再構成プロセスを逆伝播可能にする。
• 凸バリア関数を用いた学習された正則化スキームを導入し、再構成パスにおける整合性とスパarsityを強制する。
• 真の信号と回復信号間のMSEを最小化する再構成損失を用いてモデルを訓練するが、最適化にスパarsity制約を埋め込む。

実験結果

リサーチクエスチョン

• RQ1 共同で訓練されたディープアーキテクチャは、固定またはゼロしきい値モデルを上回る最適な感度行列と量子化しきい値を学習できるか？
• RQ2 学習された量子化しきい値は、方向回復にとどまらず、どれほどアモニチュード回復を可能にするか？
• RQ3 深層アンフォールディングと可視化自己符号化器の統合は、1ビットCSにおける再構成精度と収束速度をどのように向上させるか？
• RQ4 本手法は、訓練時に明示的なスパarsity監視を施さずに、未観測のスパarsityレベルに一般化できるか？
• RQ5 学習された潜在パラメータ最適化（例：LG-BIHT）の性能は、標準的なモデルベースアルゴリズム（例：RFPI）およびエンドツーエンド学習手法と比較してどうなるか？

主な発見

• 提案されたLG-BIHT VAE手法は、最先端手法と比較して顕著に低いMSEを達成し、収束が早く、再構成精度も優れている。特にスパarsityレベルK=16およびK=24において顕著である。
• 学習された感度行列としきい値を備えたG-BIHTアルゴリズム（ケース2）は、バニラG-BIHT（ケース1）およびLG-RFPI VAEを上回り、パラメータ学習の有効性を示している。
• LG-BIHT VAEはLG-RFPI VAEよりも優れた性能を示しており、ステップサイズ δi と潜在変数のエンドツーエンド学習が再構成品質を向上させることを示している。
• 訓練時にスパarsityレベルが提供されない状況でもK=24に良好に一般化しており、ロバストネスと適応性が確認された。
• 本手法は、非ゼロで適応的な量子化しきい値を学習することで、1ビットCSにおけるアモニチュード回復を可能にし、従来の手法が信号の方向回復しか行えないという制限を克服した。
• LG-BIHT手法の収束速度はL-RFPI手法よりも顕著に速く、方向回復の精度は同等またはそれ以上に達している。