[论文解读] Fully Parallel Hyperparameter Search: Reshaped Space-Filling

Marie-Liesse Cauwet, Camille Couprie+6 more|arXiv (Cornell University)|Oct 18, 2019

Advanced Image and Video Retrieval Techniques参考文献 32被引用 11

一句话总结

本文提出了一种新颖的全并行超参数搜索方法，基于重新塑造搜索分布，针对已知最优分布引入了重中心化（Recentering）方法，针对未知分布则采用柯西变换（Cauchy transformation）。该方法在收敛速度和成功率方面显著优于随机搜索、网格搜索以及LHS和哈默斯利（Hammersley）等空间填充设计，尤其在高维和真实机器学习任务中表现突出。

ABSTRACT

Space-filling designs such as scrambled-Hammersley, Latin Hypercube Sampling and Jittered Sampling have been proposed for fully parallel hyperparameter search, and were shown to be more effective than random or grid search. In this paper, we show that these designs only improve over random search by a constant factor. In contrast, we introduce a new approach based on reshaping the search distribution, which leads to substantial gains over random search, both theoretically and empirically. We propose two flavors of reshaping. First, when the distribution of the optimum is some known $P_0$, we propose Recentering, which uses as search distribution a modified version of $P_0$ tightened closer to the center of the domain, in a dimension-dependent and budget-dependent manner. Second, we show that in a wide range of experiments with $P_0$ unknown, using a proposed Cauchy transformation, which simultaneously has a heavier tail (for unbounded hyperparameters) and is closer to the boundaries (for bounded hyperparameters), leads to improved performances. Besides artificial experiments and simple real world tests on clustering or Salmon mappings, we check our proposed methods on expensive artificial intelligence tasks such as attend/infer/repeat, video next frame segmentation forecasting and progressive generative adversarial networks.

研究动机与目标

• 解决传统空间填充设计（如LHS、哈默斯利）在超参数优化中相对于随机搜索收益有限的问题。
• 开发一种全并行的超参数搜索策略，其性能超越现有方法的常数因子改进。
• 在最优分布 $P_0$ 已知或近似已知时，提供实用且分布感知的采样策略。
• 为真实场景设计稳健方法，其中 $P_0$ 未知或估计不佳，尤其是当最优解位于边界附近时。
• 在人工基准和昂贵的真实AI任务（如GAN和视频预测）上实证验证所提方法。

提出的方法

• 提出重中心化（Recentering）：通过维度和预算相关的缩放因子 $\lambda$，将已知的 $P_0$（如标准正态分布）向域中心收紧，从而重塑搜索分布。
• 提出柯西变换：增加无界超参数的尾部厚重性，并将有界超参数的样本拉近边界，以改善角落避让。
• 以打乱的哈默斯利序列作为空间填充采样的基础，通过重中心化或柯西变换进行分布重塑。
• 采用元优化策略（MetaRctg），基于公式 (1) 自动选择 $\lambda$，在高维空间中平衡探索与利用。
• 应用准对称（QO）和对称（O）采样变体，通过利用搜索空间的对称性进一步提升性能。
• 使用合成基准（如Nevergrad的一次性函数）和真实任务（如渐进式GAN、视频预测、Salmon映射）对方法进行验证。

实验结果

研究问题

• RQ1 LHS和哈默斯利等空间填充设计与随机搜索相比，在随机分散性和收敛率方面表现如何？
• RQ2 通过重中心化或柯西变换重塑搜索分布，是否能显著优于现有空间填充和随机搜索方法？
• RQ3 当 $P_0$ 已知时，重中心化的最优缩放因子 $\lambda$ 是什么？其与维度 $d$ 和预算 $n$ 的关系如何？
• RQ4 在 $P_0$ 未知或误设的真实超参数优化中，基于柯西的采样策略和重缩放采样策略的有效性如何？
• RQ5 在高维设置下，关键变量靠近边界时，经重塑的分布是否因更好的角落避让而优于低差异序列？

主要发现

• LHS和哈默斯利等空间填充设计仅相对于随机搜索带来常数因子的改进，其随机分散率无渐近优势。
• 通过公式 (1)（MetaRctg）选择 $\lambda$ 的重中心化方法，在所有测试维度和预算下，均一致优于其前身方法，包括准对称采样（见表2）。
• 在 $P_0$ 未知的真实场景中，基于柯西的采样（如Cauchy-Rctg.55）性能接近最佳已知方法，即使 $P_0$ 仅近似已知或数据被重缩放。
• 将打乱的哈默斯利序列重缩放以触达域边界，在真实任务中的表现几乎与Cauchy-Rctg.55相当，证实了边界覆盖的重要性。
• 在缺乏 $P_0$ 先验知识的情况下，Cauchy-Rctg 和重缩放哈默斯利表现最为稳定高效，其中Cauchy-Rctg.55在包括AIR和PyTorch-GAN-zoo在内的多样化任务中均表现强劲。
• 理论分析证实，重中心化与柯西变换可改善有效搜索分布，使期望到最优解的距离显著低于空间填充设计所能达到的水平。