[论文解读] The Sparse Recovery Autoencoder.

Shanshan Wu, Alexandros G. Dimakis+6 more|arXiv (Cornell University)|Jun 26, 2018

Sparse and Compressive Sensing Techniques参考文献 6被引用 4

一句话总结

本文提出了一种数据驱动的稀疏恢复自编码器，通过使用展开的投影梯度法，使ℓ₁解码器能够实现端到端训练，从而学习到超越稀疏性的潜在数据结构的自适应线性编码器。该方法通过利用真实数据集中的隐藏结构，在测量次数更少的情况下实现了优于最先进方法的重建质量。

ABSTRACT

Linear encoding of sparse vectors is widely popular, but is most commonly data-independent -- missing any possible extra (but a-priori unknown) structure beyond sparsity. In this paper we present a new method to learn linear encoders that adapt to data, while still performing well with the widely used $\ell_1$ decoder. The convex $\ell_1$ decoder prevents gradient propagation as needed in standard autoencoder training. Our method is based on the insight that unfolding the convex decoder into $T$ projected gradient steps can address this issue. Our method can be seen as a data-driven way to learn a compressed sensing matrix. Our experiments show that there is indeed additional structure beyond sparsity in several real datasets. Our autoencoder is able to discover it and exploit it to create excellent reconstructions with fewer measurements compared to the previous state of the art methods.

研究动机与目标

• 解决现有稀疏向量恢复中数据无关线性编码器的局限性。
• 实现具有ℓ₁解码的自编码器的基于梯度的训练，而该解码通常不可微。
• 发现并利用真实世界数据集中超越稀疏性的隐藏数据结构。
• 在压缩感知中提升重建精度和测量效率。
• 通过端到端训练开发可学习的压缩感知矩阵。

提出的方法

• 将ℓ₁解码器展开为T步投影梯度下降，以实现梯度反向传播。
• 通过将每个投影梯度步骤视为可学习层，将自编码器构造成可微架构。
• 使用反向传播端到端训练编码器，以最小化重建误差。
• 解码器使用一系列软阈值化和投影操作，以近似ℓ₁最小化。
• 所学习的编码器可适应数据特定结构，从而在更少测量下提升重建质量。
• 该方法通过联合优化编码器和解码器组件，有效学习到数据驱动的压缩感知矩阵。

实验结果

研究问题

• RQ1 可学习的线性编码器是否能在稀疏恢复中超越标准的数据无关方法？
• RQ2 是否能够使用基于梯度的优化方法训练具有ℓ₁解码器的自编码器？
• RQ3 真实世界数据中是否存在可利用的、超越稀疏性的隐藏结构以提升重建质量？
• RQ4 将ℓ₁解码器展开为梯度步骤是否能实现有效的端到端训练？
• RQ5 在测量效率和重建质量方面，该方法与最先进方法相比表现如何？

主要发现

• 所提出的自编码器在测量次数更少的情况下，实现了优于最先进方法的重建质量。
• 该方法成功学习到可适应数据的线性编码器，有效利用了超越稀疏性的隐藏结构。
• 将ℓ₁解码器展开为投影梯度步骤，实现了有效的反向传播和端到端训练。
• 在真实数据集上的实验确认了超越稀疏性的可利用结构的存在。
• 所学习的编码器在保持或提升重建精度的同时，减少了所需测量次数。
• 该方法通过利用数据特定模式，在压缩感知任务中表现出卓越性能。