[论文解读] Model-Aware Deep Architectures for One-Bit Compressive Variational Autoencoding

Shahin Khobahi, Mojtaba Soltanalian|arXiv (Cornell University)|Nov 27, 2019

Sparse and Compressive Sensing Techniques参考文献 39被引用 11

一句话总结

本文提出一种模型感知的深度架构，联合学习感知矩阵、量化阈值和潜在参数，用于一比特压缩变分自编码，实现在一比特压缩感知中的精确幅度恢复。通过整合深度展开与变分自编码原理，该方法在重建精度和收敛速度方面优于最先进的基于模型和数据驱动的方法。

ABSTRACT

Parameterized mathematical models play a central role in understanding and design of complex information systems. However, they often cannot take into account the intricate interactions innate to such systems. On the contrary, purely data-driven approaches do not need explicit mathematical models for data generation and have a wider applicability at the cost of interpretability. In this paper, we consider the design of a one-bit compressive variational autoencoder, and propose a novel hybrid model-based and data-driven methodology that allows us not only to design the sensing matrix and the quantization thresholds for one-bit data acquisition, but also allows for learning the latent-parameters of iterative optimization algorithms specifically designed for the problem of one-bit sparse signal recovery. In addition, the proposed method has the ability to adaptively learn the proper quantization thresholds, paving the way for amplitude recovery in one-bit compressive sensing. Our results demonstrate a significant improvement compared to state-of-the-art model-based algorithms.

研究动机与目标

• 解决现有的一比特压缩感知方法因固定或零量化阈值而导致幅度信息丢失的局限性。
• 开发一种联合学习框架，利用数据驱动和基于模型的原理，同时优化测量模块（感知矩阵和阈值）与重建网络（潜在参数）。
• 通过变分自编码器架构自适应学习量化阈值，实现在一比特CS中的幅度恢复。
• 在计算效率和重建精度方面优于现有的基于模型和深度学习的一比特CS算法。
• 在训练过程中无需显式提供稀疏度水平监督，仍能展示所学习参数在不同稀疏度水平下的泛化能力。

提出的方法

• 提出一种混合基于模型与数据驱动的变分自编码器（VAE）框架，利用训练数据联合优化感知矩阵Φ和量化阈值b。
• 将深度展开技术融入VAE中，以学习具有自适应步长δi和潜在变量的迭代重建算法（如G-BIHT、LG-BIHT）。
• 采用变分推断目标以学习潜在变量的后验分布，从而实现感知与重建组件的端到端训练。
• 采用一比特一致性约束r ⊙ (Φx − b) ⪰ 0的可微分形式，以实现通过量化和重建过程的反向传播。
• 通过凸障碍函数实现的可学习正则化方案，用于在重建路径中强制实现一致性与稀疏性。
• 使用重建损失进行模型训练，以最小化真实信号与恢复信号之间的MSE，同时在优化中嵌入稀疏性约束。

实验结果

研究问题

• RQ1 联合训练的深度架构能否学习到最优的感知矩阵和量化阈值，使一比特压缩感知性能超越固定或零阈值模型？
• RQ2 所学习的量化阈值在多大程度上能够实现一比特CS中的幅度恢复，而非仅方向恢复？
• RQ3 将深度展开与变分自编码器结合，如何提升一比特CS中的重建精度与收敛速度？
• RQ4 所提出方法是否能在未提供稀疏度水平监督的情况下，泛化到未见的稀疏度水平？
• RQ5 所学习的潜在参数优化方法（如LG-BIHT）与标准基于模型的算法（如RFPI）及端到端学习方法相比，性能如何？

主要发现

• 所提出的LG-BIHT VAE方法在MSE方面显著低于最先进方法，收敛更快且精度更高，尤其在稀疏度水平K=16和K=24时表现突出。
• 采用学习感知矩阵与阈值的G-BIHT算法（情况2）优于原始G-BIHT（情况1）和LG-RFPI VAE，证明了参数学习的有效性。
• LG-BIHT VAE在性能上优于LG-RFPI VAE，表明对步长δi和潜在变量的端到端学习可显著提升重建质量。
• 即使在训练过程中未提供稀疏度水平，该方法在K=24时仍表现出良好的泛化能力，显示出鲁棒性与适应性。
• 通过学习非零、自适应的量化阈值，该方法实现了在一比特CS中的幅度恢复，克服了现有方法仅能恢复信号方向的局限。
• LG-BIHT方法的收敛速度显著快于L-RFPI方法，同时在方向恢复精度上达到相当或更优水平。