[论文解读] Horizontal and Vertical Ensemble with Deep Representation for Classification

Jingjing Xie, Bing Xu+1 more|arXiv (Cornell University)|Jun 12, 2013

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 53

一句话总结

本文提出水平投票、垂直投票及水平堆叠集成方法，利用有限的标注数据与丰富的未标注数据来提升深度神经网络的分类性能。通过利用中间层表征并结合训练过程中多个周期的预测结果进行集成投票，该方法显著提升了模型的鲁棒性与准确性，在ICML 2013 黑箱挑战赛的公开测试集上达到68.54%的准确率，位列顶尖结果之列。

ABSTRACT

Representation learning, especially which by using deep learning, has been widely applied in classification. However, how to use limited size of labeled data to achieve good classification performance with deep neural network, and how can the learned features further improve classification remain indefinite. In this paper, we propose Horizontal Voting Vertical Voting and Horizontal Stacked Ensemble methods to improve the classification performance of deep neural networks. In the ICML 2013 Black Box Challenge, via using these methods independently, Bing Xu achieved 3rd in public leaderboard, and 7th in private leaderboard; Jingjing Xie achieved 4th in public leaderboard, and 5th in private leaderboard.

研究动机与目标

• 在仅有少量标注样本可用的情况下，提升深度神经网络的分类性能。
• 探究深度网络中的层次化表征是否能超越最终层特征，进一步提升分类性能。
• 开发利用多种表征与预测点的集成策略，以提升模型的鲁棒性与准确性。
• 评估垂直与水平集成技术在低数据场景下的有效性。
• 确定在真实世界分类挑战中，深度网络集成的最优组合策略。

提出的方法

• 垂直投票在深度网络的中间层表征（如h5、h6、h7）上分别训练分类器，使用随机森林或类似算法对每一层提取的特征进行分类。
• 水平投票收集同一网络在多个训练周期（如650–850）的预测结果，通过投票方式集成，以降低方差与过拟合风险。
• 水平堆叠集成将多个使用不同超参数或初始化方式训练的模型的预测结果进行组合，利用元分类器（如随机森林）对Softmax输出进行集成。
• 深度网络首先使用13万个未标注样本对5个去噪自编码器进行预训练，随后使用随机梯度下降在1,000个标注样本上进行微调。
• 集成方法对来自多个模型或训练周期的Softmax概率输出应用投票或元学习策略，以提升泛化能力。
• 该框架整合了无监督预训练与有监督微调，并利用网络深度与训练时间维度上的多样化表征。

实验结果

研究问题

• RQ1 深度网络的中间层表征是否能超越最终层特征，提升分类性能？
• RQ2 在不同训练周期上集成预测结果（即水平投票）是否能降低方差并提升模型鲁棒性？
• RQ3 在低数据设置下，将垂直集成（多层）与水平集成（多周期）结合是否有效？
• RQ4 基于Softmax输出训练的元集成模型是否能在低数据场景下超越单一深度网络？
• RQ5 在深度与训练时间维度上的表征多样性对最终分类准确率有何影响？

主要发现

• 水平投票在公开测试集上达到68.22%的准确率，在私有测试集上达到67.24%，优于单个模型。
• 最佳整体结果为公开测试集68.54%、私有测试集67.44%，采用对200个Softmax输出进行集成的随机森林元模型（模型6）。
• 仅使用水平投票的模型4在公开测试集中取得最高准确率（68.22%），位列ICML 2013 黑箱挑战赛顶尖队伍之中。
• 垂直投票表现不稳定，部分情况下有提升但不一致；与水平投票结合后导致过拟合，私有测试集性能下降。
• 来自不同训练周期的200个预测结果的集成显著降低了误差率的振荡，提升了泛化能力，证明了时间维度多样性价值。
• 将深度表征与水平投票结合的方法，相较于垂直投票或混合方法更为有效，尤其在低数据场景下。