[论文解读] Hyperparameter Optimization and Boosting for Classifying Facial Expressions: How good can a "Null" Model be?

James Bergstra, David Cox|arXiv (Cornell University)|Jun 14, 2013

Face and Expression Recognition参考文献 13被引用 17

一句话总结

本文提出了一种基于'空模型'（Null model）的超参数优化与提升框架——该空模型为带有随机滤波器、PCA、池化及归一化的卷积网络，通过自动化的TPE优化在面部表情识别挑战赛中实现了60%的准确率。通过集成四个优化后的模型，该方法达到65.5%的准确率，在56名参赛者中排名第五，表明即使不使用新颖架构或反向传播，仅通过系统化的超参数调优亦可实现优异性能。

ABSTRACT

One of the goals of the ICML workshop on representation and learning is to establish benchmark scores for a new data set of labeled facial expressions. This paper presents the performance of a "Null" model consisting of convolutions with random weights, PCA, pooling, normalization, and a linear readout. Our approach focused on hyperparameter optimization rather than novel model components. On the Facial Expression Recognition Challenge held by the Kaggle website, our hyperparameter optimization approach achieved a score of 60% accuracy on the test data. This paper also introduces a new ensemble construction variant that combines hyperparameter optimization with the construction of ensembles. This algorithm constructed an ensemble of four models that scored 65.5% accuracy. These scores rank 12th and 5th respectively among the 56 challenge participants. It is worth noting that our approach was developed prior to the release of the data set, and applied without modification; our strong competition performance suggests that the TPE hyperparameter optimization algorithm and domain expertise encoded in our Null model can generalize to new image classification data sets.

研究动机与目标

• 评估一种简单、非学习型模型（空模型）在新图像分类基准上的表现，该模型采用随机滤波器和标准预处理。
• 探究自动化超参数优化是否能在新数据集的模型选择中超越人类直觉。
• 开发并应用一种新型提升算法（HyperBoost），将超参数优化的基学习器组合为集成模型以提升泛化能力。
• 评估在数据发布前预先设计的模型空间是否能有效泛化至新的图像分类任务。

提出的方法

• 为一、二、三层卷积网络定义了包含238个条件超参数的配置空间，其滤波器从正态分布或基于PCA的投影中随机采样。
• 模型流水线包括图像缩放、仿射变形、滤波器组归一化互相关、局部池化、双直方图空间池化以及L2-SVM分类器。
• 使用Hyperopt的树状结构Parzen估计器（TPE）在配置空间上执行贝叶斯超参数优化，每轮选择1,000个非退化配置。
• 提出一种新型提升算法HyperBoost，将超参数优化后的模型视为弱学习器，通过顺序选择与组合以提升测试准确率。
• 集成构建采用基于合页损失的提升方法，迭代提升测试性能的同时保持较高的训练准确率。
• 所有实验均在单台配备四块GPU的机器上进行，使用较慢的文件系统，且在训练前对配置进行了退化性验证。

实验结果

研究问题

• RQ1 一个采用随机滤波器和标准预处理的'空模型'是否能在无需反向传播或无监督预训练的情况下，在新图像分类任务中取得具有竞争力的性能？
• RQ2 在新数据集的模型选择中，使用TPE的自动化超参数优化在多大程度上能超越人类直觉？
• RQ3 基于提升的超参数优化模型集成是否能显著提升泛化性能，超越表现最佳的单个模型？
• RQ4 在数据发布前预先设计的模型空间在多大程度上能泛化至新的图像分类基准？
• RQ5 当通过提升组合高容量基学习器（如9,000个特征）时，过拟合的影响如何？

主要发现

• 经超参数优化的空模型在面部表情识别挑战赛中达到60%的测试准确率，在56名参赛者中排名第12。
• 通过HyperBoost构建的四个模型集成达到65.5%的准确率，在竞赛中总排名第五。
• 单个模型的训练准确率在85%至97%之间，表明存在强烈过拟合，但集成模型仍保持了优异的泛化性能。
• 该模型与训练流水线在数据发布前即已设计完成，并未修改即直接应用，证明了其强大的泛化能力。
• 集成模型的性能显著优于任一单个模型，证实了HyperBoost在组合优化基学习器方面的有效性。
• 结果表明，即使不使用如反向传播或RBM等先进深度学习组件，仅通过超参数优化与集成构建亦可实现高性能。