[论文解读] Hyperparameter Optimization Is Deceiving Us, and How to Stop It

A. Feder Cooper, Yucheng Lu+2 more|arXiv (Cornell University)|Feb 5, 2021

Machine Learning and Data Classification参考文献 64被引用 5

一句话总结

本文提出了认知超超参数优化（EHPO），一种使用模态逻辑的形式化框架，用于严格推理超参数调优中的不确定性，并防止误导性结论。该框架证明了一种受保护的随机搜索变体在计算资源受限条件下能保证一致性，从而确保算法性能比较不会因任意的超超参数选择而产生误导。

ABSTRACT

Recent empirical work shows that inconsistent results based on choice of hyperparameter optimization (HPO) configuration are a widespread problem in ML research. When comparing two algorithms J and K searching one subspace can yield the conclusion that J outperforms K, whereas searching another can entail the opposite. In short, the way we choose hyperparameters can deceive us. We provide a theoretical complement to this prior work, arguing that, to avoid such deception, the process of drawing conclusions from HPO should be made more rigorous. We call this process epistemic hyperparameter optimization (EHPO), and put forth a logical framework to capture its semantics and how it can lead to inconsistent conclusions about performance. Our framework enables us to prove EHPO methods that are guaranteed to be defended against deception, given bounded compute time budget t. We demonstrate our framework's utility by proving and empirically validating a defended variant of random search.

研究动机与目标

• 解决超参数优化（HPO）导致算法性能结论不一致、具有误导性的问题。
• 将从HPO中得出结论的过程形式化为认知超参数优化（EHPO），将其视为在不确定性下的推理问题。
• 开发一种理论基础扎实的方法，以抵御HPO中的欺骗行为，确保在有限时间预算内得出一致的结论。
• 提出一种基于模态逻辑的逻辑框架，用于建模HPO结果中的不确定性及潜在欺骗性。
• 通过明确并合理化超超参数的选择，倡导更严格、更具说服力的HPO实践。

提出的方法

• 将HPO形式化为认知超参数优化（EHPO），将从HPO中得出结论的过程建模为不确定性下的推理任务。
• 使用模态逻辑捕捉HPO结果中的不确定性，并表示不同HPO配置可能导致相互矛盾的结论。
• 定义一个逻辑框架，识别HPO结果因任意超超参数选择而易受欺骗的条件。
• 提出一种受保护的随机搜索变体，证明其在有限时间预算t下能保证性能比较的一致性。
• 引入两阶段协议：第一阶段为粗粒度网格搜索，用于识别有前景的超超参数；第二阶段为在选定子空间上进行细粒度的受保护EHPO。
• 通过实证结果表明，受保护的EHPO方法即使与标准HPO配置相比，也能避免误导性结论。

实验结果

研究问题

• RQ1 我们能否正式建模超参数优化中的欺骗风险，即不同HPO配置导致关于算法性能的矛盾结论？
• RQ2 在固定时间预算下，如何设计一种可证明对欺骗具有鲁棒性的HPO方法？
• RQ3 何种逻辑框架能够实现对HPO性能比较中不确定性与一致性的严谨推理？
• RQ4 在不假设已知真实性能的前提下，受保护的随机搜索策略在多大程度上可防止误导性结论？
• RQ5 研究人员如何使他们的HPO选择更具说服力，减少因随意选择超超参数而产生的偏差？

主要发现

• 本文证明了超参数欺骗——即不同HPO配置导致对算法性能相反的结论——在机器学习研究中是真实存在且可形式化的风险。
• 受保护的随机搜索变体在有限时间预算t下被正式证明对欺骗具有抵抗力，从而确保结论的一致性。
• 基于模态逻辑的逻辑框架成功捕捉了HPO中的不确定性，并识别出结论易受欺骗的条件。
• 实证验证表明，受保护的EHPO方法即使在标准HPO配置导致矛盾结果时，也能避免误导性结果。
• 两阶段协议（结合粗粒度网格搜索与在选定超超参数上的受保护EHPO）显著提升了HPO选择的可辩护性与鲁棒性。