[论文解读] Compressed Learning: A Deep Neural Network Approach

Amir Adler, Michael Elad+1 more|arXiv (Cornell University)|Oct 30, 2016

Sparse and Compressive Sensing Techniques参考文献 13被引用 53

一句话总结

本文提出一种端到端深度神经网络，联合优化压缩感知矩阵与非线性推理算子以实现图像分类，显著优于当前最先进方法。在1%采样率（8次测量）下，MNIST数据集上的分类错误率为6.46%，而使用固定感知矩阵的先前深度学习方法错误率高达41.06%。

ABSTRACT

Compressed Learning (CL) is a joint signal processing and machine learning framework for inference from a signal, using a small number of measurements obtained by linear projections of the signal. In this paper we present an end-to-end deep learning approach for CL, in which a network composed of fully-connected layers followed by convolutional layers perform the linear sensing and non-linear inference stages. During the training phase, the sensing matrix and the non-linear inference operator are jointly optimized, and the proposed approach outperforms state-of-the-art for the task of image classification. For example, at a sensing rate of 1% (only 8 measurements of 28 X 28 pixels images), the classification error for the MNIST handwritten digits dataset is 6.46% compared to 41.06% with state-of-the-art.

研究动机与目标

• 通过使感知网络与推理网络联合优化，解决压缩学习中固定预定义感知矩阵的局限性。
• 在无需重建信号的压缩感知场景中提升分类精度，聚焦于推理性能。
• 证明端到端训练感知与推理组件相比解耦方法能带来更优性能。
• 在压缩图像分类任务中实现最先进性能，尤其在低感知率下表现优异。
• 在MNIST数据集上验证该方法，采用将感知与分类集成于单一可训练模型中的深度网络架构。

提出的方法

• 网络使用可学习权重的全连接层来学习感知矩阵 $\widetilde{\Phi}$，替代标准的固定感知矩阵。
• 感知层输出通过ReLU激活函数引入非线性。
• 第二个全连接层使用可学习权重 $\widetilde{\Psi}$ 将测量值映射回原始图像维度，形成重构输入 $\mathbf{z} = \max(0, \widetilde{\Psi} \max(0, \widetilde{\Phi} \mathbf{x}))$。
• 该重构输入随后由一个受LeNet启发的卷积神经网络处理，包含卷积层、ReLU激活和最大池化层。
• 最终通过一个具有10个输出的Softmax层完成分类，对应MNIST数字类别。
• 整个网络通过随机梯度下降进行端到端训练，联合优化感知与推理组件。

实验结果

研究问题

• RQ1 在深度神经网络中联合优化感知矩阵与推理网络是否能提升压缩学习中的分类准确率？
• RQ2 在压缩图像分类中，端到端训练感知与推理阶段与使用固定标准感知矩阵相比有何差异？
• RQ3 在极低感知率（如1%）下，使用可学习感知矩阵能获得多大的性能提升？
• RQ4 当感知矩阵不预先指定而是在训练过程中学习时，所提架构是否仍能保持高准确率？
• RQ5 所提方法能否优于现有最先进方法，如挤压滤波器（smashed filters）和随机感知结合CNN的方法？

主要发现

• 在1%感知率下（28×28 MNIST图像对应8次测量），所提方法的分类错误率为6.46%。
• 该结果显著优于使用随机感知矩阵与CNN的最先进方法，后者在相同速率下错误率为41.06%。
• 在更低感知率下，性能差距进一步扩大：在5%速率下，所提方法错误率为2.86%，而先前最先进方法为5.18%。
• 即使在25%感知率下，所提方法错误率仍低至1.56%，优于挤压滤波器方法（27.42%）和随机感知+CNN方法（1.63%）。
• 感知与推理组件的联合优化在所有测试感知率下均带来一致的性能提升，尤其在低速率下提升最为显著。
• 训练完成后，可将学习到的感知矩阵分离，从而部署一个独立的、测量采集经过优化的压缩感知设备。