[论文解读] Lazy Parameter Tuning and Control: Choosing All Parameters Randomly From a Power-Law Distribution

Denis Antipov, Maxim Buzdalov+1 more|arXiv (Cornell University)|Apr 14, 2021

Evolutionary Algorithms and Applications被引用 7

一句话总结

本文提出了一种针对进化算法的懒惰参数调优策略，通过在每次迭代中从幂律分布中随机采样所有关键参数——种群大小、变异率和交叉偏差——实现。该方法在理论上和实证上均表明，其在单峰问题（如OneMax）上可实现渐近最优运行时间，并在多峰跳跃函数上优于已知的最佳静态参数设置，尤其在常数跳跃尺寸下表现更优。

ABSTRACT

Most evolutionary algorithms have multiple parameters and their values drastically affect the performance. Due to the often complicated interplay of the parameters, setting these values right for a particular problem (parameter tuning) is a challenging task. This task becomes even more complicated when the optimal parameter values change significantly during the run of the algorithm since then a dynamic parameter choice (parameter control) is necessary. In this work, we propose a lazy but effective solution, namely choosing all parameter values (where this makes sense) in each iteration randomly from a suitably scaled power-law distribution. To demonstrate the effectiveness of this approach, we perform runtime analyses of the $(1+(λ,λ))$ genetic algorithm with all three parameters chosen in this manner. We show that this algorithm on the one hand can imitate simple hill-climbers like the $(1+1)$ EA, giving the same asymptotic runtime on problems like OneMax, LeadingOnes, or Minimum Spanning Tree. On the other hand, this algorithm is also very efficient on jump functions, where the best static parameters are very different from those necessary to optimize simple problems. We prove a performance guarantee that is comparable to the best performance known for static parameters. For the most interesting case that the jump size $k$ is constant, we prove that our performance is asymptotically better than what can be obtained with any static parameter choice. We complement our theoretical results with a rigorous empirical study confirming what the asymptotic runtime results suggest.

研究动机与目标

• 为解决进化算法中参数调优与控制的挑战，因为最优参数值在不同问题间以及优化过程中存在显著差异。
• 开发一种简单、通用的解决方案，避免对特定问题进行繁琐的参数校准。
• 探究通过幂律分布随机选择参数是否可达到或超越精心调优的静态参数设置的性能。
• 在单峰问题（如OneMax）和多峰问题（如Jump函数）上评估该方法的有效性，涵盖不同难度级别。

提出的方法

• 在每次迭代中，从无界幂律分布中随机采样种群大小 $\lambda$ 和乘积 $d = pcn$（其中 $p$ 为变异率，$c$ 为交叉偏差），幂律指数分别为 $\beta_\lambda = 2 + \varepsilon$ 和 $\beta_d = 1 + \varepsilon'$。
• 在每次迭代中设置 $p = c = \sqrt{d/n}$，以维持 $pcn = d$ 的关系并确保参数缩放的一致性。
• 使用数学运行时间分析，证明在OneMax、LeadingOnes、最小生成树和Jump函数上的渐近性能保证。
• 在多种问题规模和跳跃尺寸下，对 $(1+(\lambda,\lambda))$ GA 进行严谨的实证实验，与静态参数化设置及 $(1+1)$ EA 进行对比。
• 应用统计检验（Student's t 检验和Wilcoxon秩和检验）验证实验中观察到的性能差异的显著性。
• 通过在 $n=128$ 和 $k \in \{3,6\}$ 上的参数扫描，分析性能对幂律指数 $\beta_\lambda$ 和 $\beta_d$ 的敏感性。

实验结果

研究问题

• RQ1 从幂律分布中随机选择参数是否可在单峰和多峰问题上实现与最佳静态参数设置相当或更优的性能？
• RQ2 该方法是否在OneMax和Jump函数等任务上优于 $(1+1)$ EA，尤其是在最优参数值随运行过程变化时？
• RQ3 该算法性能对 $\lambda$ 和 $d$ 的幂律指数选择有多敏感？
• RQ4 该懒惰参数调优方法是否可在常数跳跃尺寸 $k$ 的Jump函数上实现相对于静态参数选择的渐近运行时间改进？
• RQ5 性能提升是源于参数的重尾分布，还是由 $(1+(\lambda,\lambda))$ GA 的特定机制驱动？

主要发现

• 所提出的算法在单峰问题（如OneMax、LeadingOnes和最小生成树）上实现了与 $(1+1)$ EA 相同的渐近运行时间，尽管使用了随机参数。
• 对于常数跳跃尺寸 $k$ 的Jump函数，该算法的运行时间渐近优于任何静态参数选择，证明了相对于标准参数设置的超指数优势。
• 在 $k \geq 3$ 的Jump函数上，期望运行时间为 $e^{O(k)}(n/k)^{(1+\varepsilon)k/2}$，与最佳已知静态参数性能相当，且显著优于标准 $(1+1)$ EA 的 $e^n$ 运行时间。
• 实证结果表明性能差异极为显著：所有统计检验的 $p$-值均低于 $10^{-10}$，证实重尾的 $(1+(\lambda,\lambda))$ GA 显著优于 $(1+1)$ EA。
• 参数敏感性分析显示，较大的 $\beta_\lambda$ 值会降低性能，尤其在 $k$ 较大时；$\beta_{pc}$ 虽影响较小但具有一致性，$\beta_{pc} = 1.0$ 时性能略优。
• 该算法对参数选择具有鲁棒性：即使使用无界的幂律分布且设计输入极少，也能实现接近最优的性能，表明其真正实现了无参数化方法。