[论文解读] How Can We Be So Dense? The Benefits of Using Highly Sparse Representations

Subutai Ahmad, Luiz Scheinkman|arXiv (Cornell University)|Mar 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 64

一句话总结

本文主张高维稀疏表示并引入带有 k-winners 和 boosting 的稀疏深度网络，在 MNIST 和 Google Speech Commands 上显示出对噪声的鲁棒性提升，同时具有竞争力的准确性。

ABSTRACT

Most artificial networks today rely on dense representations, whereas biological networks rely on sparse representations. In this paper we show how sparse representations can be more robust to noise and interference, as long as the underlying dimensionality is sufficiently high. A key intuition that we develop is that the ratio of the operable volume around a sparse vector divided by the volume of the representational space decreases exponentially with dimensionality. We then analyze computationally efficient sparse networks containing both sparse weights and activations. Simulations on MNIST and the Google Speech Command Dataset show that such networks demonstrate significantly improved robustness and stability compared to dense networks, while maintaining competitive accuracy. We discuss the potential benefits of sparsity on accuracy, noise robustness, hyperparameter tuning, learning speed, computational efficiency, and power requirements.

研究动机与目标

• 通过分析对噪声与干扰的鲁棒性，激励从密集表示转向稀疏表示。
• 提出一种可扩展的稀疏网络架构，具有稀疏权重和激活，以利用高维特性。
• 在保持准确性的同时，展示 MNIST 和 Google Speech Commands 上的鲁棒性提升。
• 讨论在学习速度、功耗效率和超参数调优方面的潜在好处。

提出的方法

• 发展高维稀疏表示和匹配体积的理论性质。
• 定义具有稀疏权重矩阵和 k-winners 激活方案的稀疏网络。
• 引入提升机制以使单元使用均衡并最大化表征熵。
• 将稀疏架构应用于 MNIST 与 Google Speech Commands 场景中的 CNN 和全连接网络。
• 使用标准反向传播训练，调整超参数，并与密集基线进行比较。
• 提供关于计算效率及潜在硬件优点的讨论。

实验结果

研究问题

• RQ1 与密集表示相比，高维稀疏表示是否能提高对噪声和干扰的鲁棒性？
• RQ2 一个实际可实现的稀疏网络（具有稀疏权重和 k-winners 激活）在提升鲁棒性的同时是否能维持准确性？
• RQ3 在嘈杂条件下，稀疏网络在图像和音频基准（MNIST 与 Google Speech Commands）上的表现相比于密集网络如何？
• RQ4 在常规深度学习框架中实现稀疏网络时，实际的计算和硬件考虑因素有哪些？

主要发现

• 当保持稀疏性时，维度增加会使稀疏表示对噪声和干扰表现出鲁棒性。
• 一个具有随机稀疏权重和 k-winners 激活的稀疏深度网络在显著提升对噪声鲁棒性的同时，仍然在 MNIST 和 Google Speech Commands 上实现具有竞争力的准确度。
• 在多个层面（权重和激活）引入稀疏性，可显著减少非零乘法并带来潜在的功耗节省，同时带来鲁棒性收益。
• Dropout 对稀疏网络并非始终有益，在某些设置下可能削弱鲁棒性；稀疏性本身就有助于鲁棒性。
• 结果从 MNIST 推广到语音命令数据集，表明稀疏表示在跨领域具有更广泛的适用性。