[论文解读] Cultivating DNN Diversity for Large Scale Video Labelling

Mikel Bober-Irizar, Syed Sameed Husain+2 more|arXiv (Cornell University)|Jul 13, 2017

Multimodal Machine Learning Applications参考文献 21被引用 9

一句话总结

本文提出通过架构差异、丢弃率调整甚至过拟合训练来培育深度神经网络（DNN）的多样性，以提升大规模视频标注任务中集成模型的性能。Yeti团队的多样化集成模型在YouTube-8M Kaggle竞赛中取得第7名，表明出人意料的训练策略能显著增强模型多样性与最终预测准确率，尤其在难以分类的样本上表现突出。

ABSTRACT

We investigate factors controlling DNN diversity in the context of the Google Cloud and YouTube-8M Video Understanding Challenge. While it is well-known that ensemble methods improve prediction performance, and that combining accurate but diverse predictors helps, there is little knowledge on how to best promote & measure DNN diversity. We show that diversity can be cultivated by some unexpected means, such as model over-fitting or dropout variations. We also present details of our solution to the video understanding problem, which ranked #7 in the Kaggle competition (competing as the Yeti team).

研究动机与目标

• 研究如何在大规模视频分类任务中有效促进并度量深度神经网络（DNN）之间的多样性。
• 确定仅训练单一大型DNN是否足够，还是由多样化模型组成的集成模型能取得更优性能。
• 识别实用且非直观的DNN多样性培育方法，以提升泛化能力与预测准确率。
• 分析多样性对减少极端误分类的影响，并提升多标签视频分类中的GAP20指标。

提出的方法

• 通过使用不同架构（包括膨胀3D卷积神经网络和ResNeXt）训练多个DNN，以促进结构多样性。
• 在不同DNN之间调整丢弃率，以引入统计与激活层级别的多样性。
• 有意识地让部分DNN在特定子集上过拟合，结果意外地增强了集成的多样性。
• 采用多样性感知的集成策略，将具有不同错误模式的多个DNN组合，以减少集体误分类。
• 通过分析错误预测样本集合的交集与并集（ε_h,θ 和 Υ_H,θ），度量多样性，其中θ=0.9用于极端错误。
• 通过分析误分类样本的预测分数直方图，追踪集成中预测误差的演化过程。

实验结果

研究问题

• RQ1 在大规模视频分类中，如何在标准架构或数据方法之外，有效培育DNN多样性？
• RQ2 模型过拟合在DNN集成中的多样性形成中起到了多大作用？
• RQ3 在个体模型表现不佳的情况下，是否通过在DNN之间调整丢弃率仍能显著提升集成性能？
• RQ4 引入多样化DNN对减少极端误分类（如预测误差>0.9）有何影响？
• RQ5 在YouTube-8M视频理解挑战中，训练单一大型DNN是否优于多样化DNN集成？

主要发现

• Yeti团队的多样化DNN集成在YouTube-8M Kaggle竞赛中取得最终第7名，证明了以多样性为导向的设计策略的有效性。
• 随着更多多样化模型的加入，集合Υ_H,θ（表示被集成中所有DNN均误分类的样本）的大小持续减小，证实了多样性在逐步增强。
• 错误预测的并集Υ′_H,θ随集成规模扩大而扩展，表明每个新增DNN均贡献了独特的错误模式，进一步证实了多样性。
• 直方图分析显示，加入五个多样化DNN后，极端错误预测（误差>0.9）的数量减少，其预测分数向危害性较低的值偏移，从而提升了GAP20指标。
• 出人意料的是，对单个DNN的过拟合反而对集成多样性有积极贡献，因为这些模型产生了独特的错误，可被其他模型纠正。
• 本研究证实，即使单个模型准确率相近，训练单一大型DNN的性能仍劣于经过精心设计的多样化集成。