[论文解读] An Information-Theoretic Framework for Fast and Robust Unsupervised Learning via Neural Population Infomax

Wentao Huang, Kechen Zhang|arXiv (Cornell University)|Nov 7, 2016

Image and Signal Denoising Methods参考文献 46被引用 5

一句话总结

该论文提出了一种基于神经种群互信息（neural population infomax）的快速且鲁棒的无监督表征学习框架，采用香农互信息的渐近近似方法处理大规模神经种群。通过利用分层互信息最大化初始化和基于梯度的优化，该方法能高效地从高维数据中学习完整、过完备及欠完备基，其收敛速度比现有方法快一个数量级，同时在包括自然图像和MNIST数字在内的多种数据集上保持了鲁棒性。

ABSTRACT

A framework is presented for unsupervised learning of representations based on infomax principle for large-scale neural populations. We use an asymptotic approximation to the Shannon's mutual information for a large neural population to demonstrate that a good initial approximation to the global information-theoretic optimum can be obtained by a hierarchical infomax method. Starting from the initial solution, an efficient algorithm based on gradient descent of the final objective function is proposed to learn representations from the input datasets, and the method works for complete, overcomplete, and undercomplete bases. As confirmed by numerical experiments, our method is robust and highly efficient for extracting salient features from input datasets. Compared with the main existing methods, our algorithm has a distinct advantage in both the training speed and the robustness of unsupervised representation learning. Furthermore, the proposed method is easily extended to the supervised or unsupervised model for training deep structure networks.

研究动机与目标

• 解决在大规模神经种群中优化香农互信息的计算不可行性，以实现无监督表征学习。
• 克服现有基于互信息最大化方法的局限性，如要求输入与输出维度相等或收敛速度慢。
• 开发一种可扩展、鲁棒且高效的算法，能够从高维数据中学习完整、过完备及欠完备基。
• 通过所提出的无监督表征学习框架，实现深度网络的快速且稳定的训练。
• 在真实世界数据集（如自然图像块和MNIST手写数字）上验证该方法的有效性。

提出的方法

• 该方法在大N极限下使用刺激与神经种群响应之间互信息的渐近近似，实现可计算的优化。
• 采用分层互信息最大化方法，为优化问题生成高质量初始解，提升收敛稳定性。
• 对由渐近互信息近似导出的最终目标函数应用梯度下降，以优化表征参数。
• 通过调整权重矩阵的秩并使用响应矩阵的低秩近似，框架支持完整、过完备及欠完备基的学习。
• 通过引入泊松脉冲神经元模型等现实生物约束，确保方法的神经生物学合理性。
• 通过将学习到的表征整合到更深架构中，该算法可扩展至监督学习和深度网络训练。

实验结果

研究问题

• RQ1 渐近互信息近似是否能实现大规模神经种群中高效且可扩展的无监督表征学习？
• RQ2 分层互信息最大化初始化在非凸互信息最大化问题中，如何提升基于梯度优化的收敛性与鲁棒性？
• RQ3 所提出的方法能否在无需标注数据的情况下，从自然图像块中学习到有意义的、类似Gabor的滤波器？
• RQ4 与ICA、MBDL和SRBM等现有无监督学习基线方法相比，该方法的训练速度和收敛性能如何？
• RQ5 该方法在过完备表征和高维数据集（如MNIST和自然图像块）上的泛化能力如何？

主要发现

• 在自然图像块和MNIST数据集上，该方法的收敛速度比现有方法（如IICA、FICA、MBDL和SRBM）快一个数量级。
• 该方法成功从自然图像块中学习到类似Gabor的滤波器和基，更大的滤波器尺寸表明对小噪声结构的有效抑制。
• 在MNIST数据集中，该方法从1024个输入图像块中学习到183个有意义的基向量，反映了手写数字的显著特征。
• 图像去噪实验表明，仅使用14个基向量，该方法的重建误差范数为23.48，优于使用100个基向量的字典学习方法。
• 该方法对超参数变化具有鲁棒性，特别是在学习率参数 $v_1$ 上表现一致，不同设置下均实现快速收敛。
• 该框架支持大规模过完备表征，输出单元数量显著超过输入数量——这与大多数现有模型不同。