[论文解读] Generalized Deterministic Perturbations For Simultaneous Perturbation Methods

K. Chandramouli, Prabuchandran K. J+2 more|arXiv (Cornell University)|Feb 21, 2017

Metaheuristic Optimization Algorithms Research被引用 1

一句话总结

本文将随机方向基夫-沃尔夫（RDKW）随机优化算法的确定性扰动序列推广至更广泛的类别，其范围超过以往已知的构造。本文提出一种周期长度最小的新构造方法，在模拟中表现出优于随机和Hadamard基扰动的收敛性和性能，同时证明了该广义类别的收敛性。

ABSTRACT

Stochastic optimization (SO) considers the problem of optimizing an objective function in the presence of noise. Most of the solution techniques in SO estimate gradients from the noise corrupted observations of the objective and adjust parameters of the objective along the direction of the estimated gradients to obtain locally optimal solutions. Two prominent algorithms in SO namely Random Direction Kiefer-Wolfowitz (RDKW) and Simultaneous Perturbation Stochastic Approximation (SPSA) obtain noisy gradient estimate by randomly perturbing all the parameters simultaneously. This forces the search direction to be random in these algorithms and causes them to suffer additional noise on top of the noise incurred from the samples of the objective. Owing to this additional noise, the idea of using deterministic perturbations instead of random perturbations for gradient estimation has also been studied. Two specific constructions of the deterministic perturbation sequence using lexicographical ordering and Hadamard matrices have been explored and encouraging results have been reported in the literature. In this paper, we characterize the class of deterministic perturbation sequences that can be utilized in the RDKW algorithm. This class expands the set of known deterministic perturbation sequences available in the literature. Using our characterization we propose a construction of a deterministic perturbation sequence that has the least possible cycle length among all deterministic perturbations. Through simulations we illustrate the performance gain of the proposed deterministic perturbation sequence in the RDKW algorithm over the Hadamard and the random perturbation counterparts. We establish the convergence of the RDKW algorithm for the generalized class of deterministic perturbations.

研究动机与目标

• 识别并表征适用于RDKW算法的更广泛确定性扰动序列类别，超越现有构造方法。
• 开发一种周期长度最短的确定性扰动序列，使其在所有确定性扰动中达到最小周期长度。
• 通过减少随机扰动带来的噪声，同时保持收敛性，提升RDKW的鲁棒性和效率。
• 在模拟中，通过实证验证所提出的扰动序列相较于随机和Hadamard基方法的性能。
• 建立当使用广义确定性扰动类别时，RDKW算法的理论收敛性。

提出的方法

• 本文利用组合与代数结构，定义了一类广义的确定性扰动序列，其范围超越字典序和Hadamard基序列。
• 提出一种新颖的构造方法，以最小化扰动序列的周期长度，确保梯度估计的高效性与可重复性。
• 该方法利用正交数组和平衡序列的性质，以保持扰动方向的多样性与均匀性。
• 将RDKW算法调整为使用这些确定性序列代替随机扰动进行梯度估计。
• 基于随机逼近理论证明收敛性，表明在标准假设下，广义扰动类别的算法可实现几乎必然收敛。
• 通过模拟比较所提方法与随机及Hadamard基扰动在收敛速度和精度方面的表现。

实验结果

研究问题

• RQ1 确定性扰动序列需满足何种条件，才能确保在RDKW算法中实现收敛？
• RQ2 能否构造一种周期长度最小的确定性扰动序列，同时保持有效的梯度估计？
• RQ3 所提出的确定性扰动序列在收敛速度和精度方面，相较于随机和Hadamard基扰动的表现如何？
• RQ4 当使用广义确定性扰动时，RDKW算法收敛性的理论基础是什么？
• RQ5 能否在字典序和Hadamard构造之外，有意义地扩展可用确定性扰动的类别？

主要发现

• 本文识别出一类广义的确定性扰动序列，其范围超越以往已知的构造，如字典序和Hadamard基序列。
• 提出一种周期长度最短的确定性扰动序列，是所有确定性扰动中周期最短的，从而最小化冗余并提升效率。
• 模拟结果表明，所提扰动序列在收敛速度和梯度估计方差方面，优于随机和Hadamard基方法。
• 证明了使用广义确定性扰动的RDKW算法在标准随机逼近条件下可实现几乎必然收敛。
• 性能提升归因于结构化、非随机扰动带来的噪声减少，从而获得更精确的梯度估计。
• 所提方法在保持理论保证的同时，显著提升了优化速度与稳定性。