[论文解读] Making a Science of Model Search

James Bergstra, Dan Yamins+1 more|arXiv (Cornell University)|Sep 23, 2012

Machine Learning and Data Classification参考文献 23被引用 38

一句话总结

本文提出了一种用于计算机视觉中自动超参数优化的元建模框架，将模型配置表示为可执行表达式图，并使用树状结构Parzen估计器（TPE）高效搜索超参数空间。该方法在三个不同的视觉任务（LFW、PubFig83 和 CIFAR-10）上实现了最先进性能，在仅使用 GPU 加速、无偏搜索的情况下，24 小时内即达到或超越人工调优结果。

ABSTRACT

Many computer vision algorithms depend on a variety of parameter choices and settings that are typically hand-tuned in the course of evaluating the algorithm. While such parameter tuning is often presented as being incidental to the algorithm, correctly setting these parameter choices is frequently critical to evaluating a method's full potential. Compounding matters, these parameters often must be re-tuned when the algorithm is applied to a new problem domain, and the tuning process itself often depends on personal experience and intuition in ways that are hard to describe. Since the performance of a given technique depends on both the fundamental quality of the algorithm and the details of its tuning, it can be difficult to determine whether a given technique is genuinely better, or simply better tuned. In this work, we propose a meta-modeling approach to support automated hyper parameter optimization, with the goal of providing practical tools to replace hand-tuning with a reproducible and unbiased optimization process. Our approach is to expose the underlying expression graph of how a performance metric (e.g. classification accuracy on validation examples) is computed from parameters that govern not only how individual processing steps are applied, but even which processing steps are included. A hyper parameter optimization algorithm transforms this graph into a program for optimizing that performance metric. Our approach yields state of the art results on three disparate computer vision problems: a face-matching verification task (LFW), a face identification task (PubFig83) and an object recognition task (CIFAR-10), using a single algorithm. More broadly, we argue that the formalization of a meta-model supports more objective, reproducible, and quantitative evaluation of computer vision algorithms, and that it can serve as a valuable tool for guiding algorithm development.

研究动机与目标

• 为解决手动超参数调优中缺乏可复现性和客观性的问题，此类问题常导致算法性能评估存在偏差或不可比较。
• 通过将模型配置编码为可执行表达式图，将模型搜索形式化为科学过程，明确性能指标如何依赖于超参数。
• 用自动化、无偏见且可复现的优化流程替代主观的、依赖经验的调优方法，实现超参数选择。
• 证明自动化搜索可在多种计算机视觉任务中实现与专家调优相当或更优的效率和性能。
• 提供开源工具用于通用算法配置，推动自动化模型搜索在更广泛范围内的应用与未来研究。

提出的方法

• 该方法将模型配置表示为表达式图，将超参数映射到性能指标（如验证数据上的分类准确率）。
• 超参数不仅控制数值设置（如滤波器大小、正则化强度），还控制架构选择（如是否包含池化或归一化等特定处理步骤）。
• 使用树状结构Parzen估计器（TPE）通过基于历史评估的贝叶斯推理，迭代采样具有前景的配置来优化性能指标。
• 搜索空间同时包含离散选择（如包含哪些层）和连续参数（如初始学习率、滤波器大小），从而能够探索多样化的模型族。
• 该框架针对 GPU 执行进行了实现，可在数小时内快速评估数千个配置。
• 该方法支持任意实值准则的优化，包括对模型大小或推理速度的约束优化。

实验结果

研究问题

• RQ1 自动化超参数搜索能否在计算机视觉任务中达到或超越专家调优模型的性能？
• RQ2 与手动调优相比，自动化搜索在多大程度上减少了偏差并提高了可复现性？
• RQ3 在优化复杂、高维的超参数空间时，自动化搜索相对于随机搜索的效率如何？
• RQ4 一个统一的优化框架是否能在无需针对特定任务调优的情况下，在多种不同的视觉任务中恢复最先进结果？
• RQ5 将模型配置形式化为可搜索的表达式图，是否能实现更系统化和量化的算法评估？

主要发现

• 在 CIFAR-10 数据集上，基于 TPE 的自动化搜索实现了 78.8% ± 0.8 的测试准确率，与同模型类别下的手调模型（79.1% ± 0.8）性能相当。
• 使用 2,000 个配置的随机搜索仅达到 76.6% ± 0.8 的测试准确率，低于手调模型和 TPE 优化模型的结果。
• TPE 算法在 6 块 GPU 上运行约 24 小时内即找到了与最佳已知结果相当的配置，显著优于随机搜索的优化效率。
• 该方法成功在三个差异显著的任务上恢复了最先进性能：人脸识别（LFW）、人脸识别（PubFig83）和物体识别（CIFAR-10）。
• 该框架证明，自动化搜索可替代主观的、基于直觉的调优过程，代之以可复现且可量化的流程，从而实现算法间更公平的比较。
• 开源软件的发布使得结果可复现，并支持未来在各领域中自动化算法配置的研究。