[论文解读] Limited-Memory Matrix Adaptation for Large Scale Black-box Optimization

Ilya Loshchilov, Tobias Glasmachers+1 more|arXiv (Cornell University)|May 18, 2017

Stochastic Gradient Optimization Techniques参考文献 24被引用 9

一句话总结

该论文提出有限内存矩阵自适应进化策略（LM-MA-ES），一种可扩展的零阶优化算法，通过采用变换矩阵的有限内存近似，将矩阵自适应进化策略（MA-ES）的时间和空间复杂度从 O(n²) 降低至 O(n log n)。该方法在大规模黑箱优化基准测试中达到最先进性能，并在生成随机森林分类器对抗样本方面表现出强大有效性。

ABSTRACT

The Covariance Matrix Adaptation Evolution Strategy (CMA-ES) is a popular method to deal with nonconvex and/or stochastic optimization problems when the gradient information is not available. Being based on the CMA-ES, the recently proposed Matrix Adaptation Evolution Strategy (MA-ES) provides a rather surprising result that the covariance matrix and all associated operations (e.g., potentially unstable eigendecomposition) can be replaced in the CMA-ES by a updated transformation matrix without any loss of performance. In order to further simplify MA-ES and reduce its $\mathcal{O}\big(n^2\big)$ time and storage complexity to $\mathcal{O}\big(n\log(n)\big)$, we present the Limited-Memory Matrix Adaptation Evolution Strategy (LM-MA-ES) for efficient zeroth order large-scale optimization. The algorithm demonstrates state-of-the-art performance on a set of established large-scale benchmarks. We explore the algorithm on the problem of generating adversarial inputs for a (non-smooth) random forest classifier, demonstrating a surprising vulnerability of the classifier.

研究动机与目标

• 为解决 MA-ES 在大规模黑箱优化中随维度增加而呈二次方增长的高计算成本问题。
• 在保持性能与简洁性的同时，将 MA-ES 的时间和空间复杂度从 O(n²) 降低至 O(n log n)。
• 通过使用有限内存结构近似完整变换矩阵，实现在高维空间中的高效优化。
• 在标准大规模基准测试及对抗机器学习场景下评估该算法的性能。
• 通过零阶优化方法探究随机森林分类器在实际中对对抗攻击的脆弱性。

提出的方法

• 该算法用基于最近 m 个更新向量的低秩、有限内存近似替代 MA-ES 中的完整变换矩阵，从而减少存储与计算开销。
• 它保留了 MA-ES 的核心更新机制，包括秩-μ 重组与自适应步长控制，但将其应用于有限内存表示形式。
• 通过最近 m 个更新向量的 QR 分解隐式维护变换矩阵，实现在 O(n log n) 时间内的高效矩阵-向量乘法。
• 该方法借鉴 LM-CMA-ES 中的 L-BFGS 启发式内存管理策略，实现可扩展的变度量优化。
• 算法采用秩-μ 重组方案来更新均值与步长，确保在病态条件问题上的收敛性与性能。
• 它使用与 MA-ES 相同的采样机制，但采用变换矩阵的压缩表示，保持了算法的不变性与鲁棒性。

实验结果

研究问题

• RQ1 能否在不牺牲大规模黑箱优化问题性能的前提下，将 MA-ES 的 O(n²) 复杂度降低至 O(n log n)？
• RQ2 变换矩阵的有限内存近似在高维空间中如何影响收敛速度与解的质量？
• RQ3 LM-MA-ES 是否能有效生成非光滑模型（如随机森林）的对抗样本？这揭示了其何种鲁棒性特征？
• RQ4 在目标函数评估效率与解质量方面，LM-MA-ES 与标准 MA-ES 及其他大规模优化器相比表现如何？
• RQ5 内存近似中的低秩结构在多大程度上允许采用更大的学习率，并在高维搜索空间中实现更快的自适应？

主要发现

• 在笔记本电脑上，LM-MA-ES 相较于 MA-ES 实现了 3.5 倍的加速，完成 9721 项对抗样本生成任务耗时约 2 小时，而 MA-ES 耗时约 7 小时。
• LM-MA-ES 在 6,321 张测试图像中成功生成了对抗输入，略优于 MA-ES 的 6,152 次成功攻击。
• 在 7,171 项任务中，LM-MA-ES 达到了更低的目标值，而 MA-ES 仅在 2,550 项中达到更低值，表明在相同评估预算下其解质量更优。
• 在最简单的任务中，LM-MA-ES 展现出更快的收敛速度，而 MA-ES 因函数评估次数受限而陷入停滞，凸显了低秩结构带来的更大学习率优势。
• 对抗样本的差异图像显示出一个明亮的斑块，表明 LM-MA-ES 识别出了有意义的低维子空间，而普通进化策略则施加了各向同性的噪声。
• LM-MA-ES 与 MA-ES 之间的性能差距可归因于 LM-MA-ES 仅需自适应前 23 个方向（基于 log(n)），而非完整的 784×784 矩阵，从而实现更快且更有效的学习。