[论文解读] Margin-Based Feed-Forward Neural Network Classifiers

Han Xiao, Xiaoyan Zhu|arXiv (Cornell University)|Jun 11, 2015

Neural Networks and Applications参考文献 8被引用 3

一句话总结

本文提出了一种用于前馈神经网络的新型基于边缘的训练算法，可提升泛化能力和准确性，尤其在标注数据稀疏的情况下表现更优。通过将最小边缘原则应用于特征抽象，最大边缘原则应用于分类，该方法在仅做极少网络结构修改的情况下，显著优于传统的 Widrow-Hoff 反向传播方法。

ABSTRACT

Margin-Based Principle has been proposed for a long time, it has been proved that this principle could reduce the structural risk and improve the performance in both theoretical and practical aspects. Meanwhile, feed-forward neural network is a traditional classifier, which is very hot at present with a deeper architecture. However, the training algorithm of feed-forward neural network is developed and generated from Widrow-Hoff Principle that means to minimize the squared error. In this paper, we propose a new training algorithm for feed-forward neural networks based on Margin-Based Principle, which could effectively promote the accuracy and generalization ability of neural network classifiers with less labelled samples and flexible network. We have conducted experiments on four UCI open datasets and achieved good results as expected. In conclusion, our model could handle more sparse labelled and more high-dimension dataset in a high accuracy while modification from old ANN method to our method is easy and almost free of work.

研究动机与目标

• 解决通过 Widrow-Hoff 原理训练的传统前馈神经网络泛化能力有限的问题。
• 提升在标注样本少、维度高的数据集上的性能表现。
• 将基于边缘的原则整合到神经网络的特征抽象与分类阶段。
• 实现从标准反向传播网络到所提出的基于边缘框架的无缝迁移，实现近乎零的实现开销。

提出的方法

• 将前馈神经网络分解为两个阶段：特征抽象（输入层到隐藏层）和分类（隐藏层到输出层）。
• 在特征抽象阶段应用最小边缘原则，以最小化回归误差并改善特征表示。
• 在分类阶段应用最大边缘原则，以最小化结构风险并增强决策边界的分离性。
• 将两种原则整合为统一的优化问题，通过基于边缘的目标联合训练网络。
• 开发一种新型训练算法以求解所得优化问题，其与标准的平方误差反向传播方法不同。
• 保持与标准人工神经网络相同的推理方式与网络结构，支持无缝替换，且性能更优。

实验结果

研究问题

• RQ1 与 Widrow-Hoff 反向传播相比，基于边缘的原则是否能提升前馈神经网络的泛化能力和准确性？
• RQ2 在低数据环境下，将最小边缘原则应用于特征抽象阶段是否能增强表示学习能力？
• RQ3 在分类阶段应用最大边缘原则是否能提升稀疏数据集上的鲁棒性与性能？
• RQ4 所提出的方法在多大程度上可仅通过极少修改就集成到现有的神经网络代码库中？

主要发现

• 所提出的基于边缘的训练算法在准确率方面显著优于标准反向传播（ANN），尤其在稀疏标注数据集上表现突出。
• 在 ISOLET 数据集上，仅使用 3.33% 的标注数据，该模型在所有测试的隐藏节点配置下均优于 ANN。
• 该模型在所有数据集上均超越了 SVM-RBF，表明其基于最小边缘的特征抽象能比核方法更好地捕捉数据流形结构。
• 该模型还优于 AdaBoost，证实了基于最大边缘的分类在处理复杂决策边界方面的有效性。
• 存在一个合适的隐藏节点数量，使性能达到峰值；节点数过多时出现过拟合，过少时则出现欠拟合。
• 所提出的方法可实现从标准 ANN 到基于边缘训练的近乎即时迁移，无需修改推理逻辑或网络结构。