[论文解读] Learning a Compressed Sensing Measurement Matrix via Gradient Unrolling

Shanshan Wu, Alexandros G. Dimakis+6 more|arXiv (Cornell University)|Jun 26, 2018

Sparse and Compressive Sensing Techniques被引用 39

一句话总结

该论文提出一种数据驱动方法，通过梯度回溯（gradient unrolling）实现端到端训练，学习一种自适应于稀疏数据中隐藏结构模式的压缩感知测量矩阵 $A$，该方法可处理非可微的 $ι_1$ 解码器。该方法在合成和真实世界的稀疏数据集上均保持高重建精度，同时相比最先进方法将测量次数减少了 1.1–3 倍，包括在极端多标签分类中的应用。

ABSTRACT

Linear encoding of sparse vectors is widely popular, but is commonly data-independent -- missing any possible extra (but a priori unknown) structure beyond sparsity. In this paper we present a new method to learn linear encoders that adapt to data, while still performing well with the widely used $\ell_1$ decoder. The convex $\ell_1$ decoder prevents gradient propagation as needed in standard gradient-based training. Our method is based on the insight that unrolling the convex decoder into $T$ projected subgradient steps can address this issue. Our method can be seen as a data-driven way to learn a compressed sensing measurement matrix. We compare the empirical performance of 10 algorithms over 6 sparse datasets (3 synthetic and 3 real). Our experiments show that there is indeed additional structure beyond sparsity in the real datasets; our method is able to discover it and exploit it to create excellent reconstructions with fewer measurements (by a factor of 1.1-3x) compared to the previous state-of-the-art methods. We illustrate an application of our method in learning label embeddings for extreme multi-label classification, and empirically show that our method is able to match or outperform the precision scores of SLEEC, which is one of the state-of-the-art embedding-based approaches.

研究动机与目标

• 为解决压缩感知中数据无关测量矩阵的局限性，学习一种超越稀疏性之外、能适应底层数据结构的测量矩阵。
• 在 $ι_1$ 解码器不可微的情况下，实现测量矩阵的基于梯度的训练。
• 通过利用稀疏数据集中隐藏的相关性，减少测量次数并提升重建性能。
• 在下游任务（如极端多标签分类）中展示所学测量矩阵的实用性。
• 提供一种可微、可解释且高效的高维稀疏数据线性编码器。

提出的方法

• 使用梯度回溯将 $ι_1$ 解码器近似为 $T$ 步投影梯度下降，从而实现通过解码器的反向传播。
• 将测量矩阵学习建模为自编码器，其中线性编码器为 ($A$)，非线性解码器为 ($D(A, \cdot)$)，其功能为求解 $ι_1$-最小化问题。
• 通过经验重建损失实现测量矩阵 $A$ 的端到端训练：$\sum_{i=1}^n \|x_i - D(A, Ax_i)\|_2^2$。
• 应用回溯优化，使基于 $ι_1$ 的恢复过程可微分，并可通过反向传播进行训练。
• 将所学矩阵 $A$ 用作数据驱动的测量矩阵，以捕捉稀疏数据中的结构模式。
• 通过学习标签嵌入 $Z = AY$ 将该方法应用于极端多标签分类，随后使用标准线性映射进行预测。

实验结果

研究问题

• RQ1 数据驱动的测量矩阵能否在稀疏数据中学习到超越简单稀疏性的隐藏结构模式？
• RQ2 梯度回溯能否在 $ι_1$ 解码器不可微的情况下，实现压缩感知矩阵的端到端训练？
• RQ3 学习一种能适应数据结构的测量矩阵是否能减少准确恢复所需的测量次数？
• RQ4 所学测量矩阵能否在极端多标签分类等下游任务中提升性能？
• RQ5 与最先进方法相比，该方法在重建精度和测量效率方面的表现如何？

主要发现

• 在 6 个稀疏数据集（3 个合成，3 个真实）上，该方法相比最先进方法将准确重建所需的测量次数减少了 1.1–3 倍。
• 该方法成功发现并利用了真实世界稀疏数据集中的隐藏结构模式，例如文本、人口统计和基因组数据中的相关特征。
• 在极端多标签分类任务中，该方法在 EURLex-4K 和 Wiki10-31K 数据集上的精度与 SLEEC 相当或更优，单一模型在 Wiki10-31K 上的 P@1 达到 0.8617。
• 集成三个或五个模型可实现与 SLEEC 相当或更优的精度，在 Wiki10-31K 上的 P@1 达到 0.8640。
• 所学测量矩阵具有可解释性，因为每一列对应一个学习到的特征嵌入，且由于线性编码，该方法计算效率高。
• 结果表明，即使使用固定的 $ι_1$ 解码器，通过数据驱动方式学习 $A$ 也能显著优于随机或固定矩阵。