[论文解读] APAC: Augmented PAttern Classification with Neural Networks

Ikuro Sato, Hiroki Nishimura+1 more|arXiv (Cornell University)|May 13, 2015

Advanced Neural Network Applications参考文献 19被引用 108

一句话总结

本文提出APAC（增强模式分类），一种针对经过数据增强训练的神经网络分类器的新决策规则。与单次前向传播预测不同，APAC聚合了测试样本多个增强版本的Softmax输出，显著提升了泛化性能。该方法实现了最先进性能，包括在MNIST上达到0.23%的测试误差（非集成模型中的最佳结果），并在仅使用多层感知机的情况下超越了部分CNN在CIFAR-10上的表现。

ABSTRACT

Deep neural networks have been exhibiting splendid accuracies in many of visual pattern classification problems. Many of the state-of-the-art methods employ a technique known as data augmentation at the training stage. This paper addresses an issue of decision rule for classifiers trained with augmented data. Our method is named as APAC: the Augmented PAttern Classification, which is a way of classification using the optimal decision rule for augmented data learning. Discussion of methods of data augmentation is not our primary focus. We show clear evidences that APAC gives far better generalization performance than the traditional way of class prediction in several experiments. Our convolutional neural network model with APAC achieved a state-of-the-art accuracy on the MNIST dataset among non-ensemble classifiers. Even our multilayer perceptron model beats some of the convolutional models with recently invented stochastic regularization techniques on the CIFAR-10 dataset.

研究动机与目标

• 解决标准分类任务中在数据增强训练后使用的次优决策规则问题。
• 通过重新思考增强数据在推理时的预测方式，提升泛化性能。
• 证明在数据增强下最优决策需要对虚拟样本进行期望最大化，而非单一样本推理。
• 表明即使使用简单的模型（如MLP），结合所提出的APAC推理规则也能实现高性能。

提出的方法

• APAC计算单个测试输入的多个数据增强版本的Softmax概率乘积。
• 每个增强版本使用与训练期间相同的变形函数生成（例如，弹性形变、颜色偏移）。
• 最终预测通过选择在所有增强样本中概率乘积最高的类别来确定。
• 该方法近似了损失函数在形变参数上的期望，使推理与训练目标保持一致。
• 该方法可应用于CNN和MLP架构，无需修改网络结构，仅需调整推理步骤。
• 使用概率乘积（而非求和）的合理性在于其最大化了不同增强实例下类别预测的联合似然。

实验结果

研究问题

• RQ1 当模型经过数据增强训练时，使用单次前向传播进行测试预测是否会导致次优性能？
• RQ2 能否通过改进推理时的决策规则，在不改变网络结构的前提下显著提升泛化性能？
• RQ3 在增强样本上使用Softmax输出的乘积是否比求和或取最大值更有效？
• RQ4 当使用所提出的APAC推理规则时，简单的MLP是否能超越复杂的CNN？
• RQ5 APAC如何影响网络权重中学习到的特征表示？

主要发现

• 在MNIST数据集上，APAC实现了0.23%的测试误差率，是所有非集成分类器中的最佳结果。
• 在MNIST上使用APAC的top-2预测误差率仅为0.01%，表明预测具有高度置信度。
• 在CIFAR-10上，使用APAC的MLP模型表现优于多个使用先进随机正则化技术训练的CNN模型。
• APAC训练模型的权重图显示出增强的局部特征敏感性，尤其在MLP中表现明显，表明其具备更好的不变性并减少了过拟合。
• 在所有情况下，APAC中使用概率乘积的性能均优于求和，仅在CIFAR-10-MLP中例外，支持其在联合概率最大化中的有效性。
• 即使模型架构本身未针对局部特征提取进行设计（如标准MLP），APAC仍能提升泛化性能。