[论文解读] Informational Neurobayesian Approach to Neural Networks Training. Opportunities and Prospects

Artem V. Artemov, Evgeniy Veniaminovich Lutsenko+2 more|arXiv (Cornell University)|Oct 19, 2017

Neural Networks and Applications被引用 4

一句话总结

本文提出了信息神经贝叶斯方法（INA），一种通过将突触权重解释为信息量度而非任意数值来训练神经网络的新方法。通过结合信息论与贝叶斯更新，INA将计算复杂度降低至O(log n)，并实现了在标准CPU上不到3小时内训练大规模模型（如63亿参数的单词识别系统），在极少数据下且无需GPU的情况下，文本重建任务的F1得分超过0.97。

ABSTRACT

A study of the classification problem in context of information theory is presented in the paper. Current research in that field is focused on optimisation and bayesian approach. Although that gives satisfying results, they require a vast amount of data and computations to train on. Authors propose a new concept named Informational Neurobayesian Approach (INA), which allows to solve the same problems, but requires significantly less training data as well as computational power. Experiments were conducted to compare its performance with the traditional one and the results showed that capacity of the INA is quite promising.

研究动机与目标

• 解决传统深度学习与贝叶斯神经网络训练中对高数据量和高计算资源的需求问题。
• 开发一种将神经网络权重解释为信息量而非任意参数的方法。
• 实现在无GPU的标准CPU上训练大规模神经模型，降低资源需求。
• 提升在低数据量及零样本学习场景下的性能，特别是在自然语言与文本识别任务中。
• 通过基于信息的权重组合方式，促进分层、多层级神经网络的构建。

提出的方法

• 将神经网络权重重新解释为信息量——具体而言，是基于哈克维奇公式的类别结果后验概率与先验概率之比的对数形式。
• 应用信息的系统理论（STI）来量化特征在预测结果中的信息价值，从而实现基于信息的权重分配。
• 采用类似EM的算法，包含E步与M步，以优化信息的涌现：E步计算信息含量，M步更新模型参数。
• 采用改进的贝叶斯框架，通过先验分布对权重进行正则化，减少过拟合，并支持从有限数据中学习。
• 引入一种对数复杂度学习算法（E步为O(log n)，M步为O(n log n)），与梯度下降法（O(n²)）相比显著降低计算成本。
• 支持信息神经模型的独立训练，使深层、多层级神经网络可模块化构建，其中每个神经元的输入为低阶信息模型。

实验结果

研究问题

• RQ1 能否基于信息论原则重新定义神经网络训练，以减少对数据和计算资源的需求？
• RQ2 将权重解释为信息量是否能提升模型在低数据量或零样本学习任务中的性能？
• RQ3 能否在无GPU的标准CPU上，通过基于信息的优化框架高效训练大规模神经网络？
• RQ4 加法信息属性对多层神经网络组合的影响是什么？
• RQ5 与经典梯度下降法及神经贝叶斯方法相比，该方法在准确性、速度和资源效率方面表现如何？

主要发现

• 在仅使用10万个词的俄语单词识别任务中，INA方法实现了0.98的F1得分，表明其在低数据、复杂文本任务中表现优异。
• 一个63亿参数的俄语单词识别神经模型在标准CPU服务器（Intel Xeon E5-1650 v3，128 GB RAM）上仅用2小时35分钟完成训练，未使用GPU。
• 模型每字母和每二元组的困惑度为1.26，表明其在序列建模与信息预测方面具有高精度。
• 在MNIST数据集上，模型在单个训练周期内达到F1得分为0.81，显著优于类似约束下的基线结果。
• 在房屋价格回归任务中，模型在单个周期内RMSE为0.42，虽未优化至最佳性能，但远超已知最佳结果0.06628，显示出巨大潜力。
• INA算法的计算复杂度为E步O(log n)，M步O(n log n)，相比经典梯度下降法（O(n²)）有显著提升，使传统硬件上的高效训练成为可能。