[論文レビュー] Generalized Deterministic Perturbations For Simultaneous Perturbation Methods

K. Chandramouli, Prabuchandran K. J+2 more|arXiv (Cornell University)|Feb 21, 2017

Metaheuristic Optimization Algorithms Research被引用数 1

ひとこと要約

本稿は、確率的最適化アルゴリズムRandom Direction Kiefer-Wolfe (RDKW) のための決定的摂動列を一般化し、これまでに知られていたものより広いクラスのこのような列を特徴づける。最小サイクル長を持つ新しい構成を提案し、シミュレーションにおいてランダムおよびハダマードベースの摂動よりも収束性と性能が向上することを示している。また、一般化されたクラスについても収束性を証明している。

ABSTRACT

Stochastic optimization (SO) considers the problem of optimizing an objective function in the presence of noise. Most of the solution techniques in SO estimate gradients from the noise corrupted observations of the objective and adjust parameters of the objective along the direction of the estimated gradients to obtain locally optimal solutions. Two prominent algorithms in SO namely Random Direction Kiefer-Wolfowitz (RDKW) and Simultaneous Perturbation Stochastic Approximation (SPSA) obtain noisy gradient estimate by randomly perturbing all the parameters simultaneously. This forces the search direction to be random in these algorithms and causes them to suffer additional noise on top of the noise incurred from the samples of the objective. Owing to this additional noise, the idea of using deterministic perturbations instead of random perturbations for gradient estimation has also been studied. Two specific constructions of the deterministic perturbation sequence using lexicographical ordering and Hadamard matrices have been explored and encouraging results have been reported in the literature. In this paper, we characterize the class of deterministic perturbation sequences that can be utilized in the RDKW algorithm. This class expands the set of known deterministic perturbation sequences available in the literature. Using our characterization we propose a construction of a deterministic perturbation sequence that has the least possible cycle length among all deterministic perturbations. Through simulations we illustrate the performance gain of the proposed deterministic perturbation sequence in the RDKW algorithm over the Hadamard and the random perturbation counterparts. We establish the convergence of the RDKW algorithm for the generalized class of deterministic perturbations.

研究の動機と目的

• 既存の構成を超えてRDKWアルゴリズムに適用可能な、より広いクラスの決定的摂動列を特定・特徴づけること。
• すべての決定的摂動の中で最も短いサイクル長を持つ新しい決定的摂動列を構築すること。
• ランダム摂動からのノイズを低減しつつ収束性を維持することで、RDKWのロバスト性と効率を向上させること。
• シミュレーションにおいて、提案された摂動列をランダムおよびハダマードベースの代替手法と比較して実証的に検証すること。
• 一般化された決定的摂動のクラスを使用した場合のRDKWアルゴリズムの理論的収束性を確立すること。

提案手法

• 本稿は、組合せ論的および代数的構造を用いて、辞書的およびハダマードベースの列を超えた一般化された決定的摂動列のクラスを定義する。
• 摂動列のサイクル長を最小化する新しい構成手法を導入し、効率的かつ再現可能な勾配推定を保証する。
• 直交配列およびバランスの取れた列の性質を活用して、摂動方向の多様性と一様性を維持する。
• RDKWアルゴリズムを、勾配推定にランダム摂動の代わりにこれらの決定的列を使用できるように変更する。
• 標準的な確率的近似理論を用いて収束性を証明し、一般化された摂動クラスにおいて、標準的な仮定のもとでほとんど確実な収束が成り立つことを示す。
• 収束速度と精度の観点から、提案手法とランダムおよびハダマードベースの摂動とのシミュレーション比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 RDKWアルゴリズムにおける収束を保証するため、決定的摂動列が満たすべき条件は何か？
• RQ2 有効な勾配推定を維持しつつ、可能な限り最小のサイクル長を持つ決定的摂動列を構築できるか？
• RQ3 提案された決定的摂動列の性能は、ランダムおよびハダマードベースの摂動と比較して、収束速度および精度の観点でどのように異なるか？
• RQ4 一般化された決定的摂動を使用した場合のRDKWの収束の理論的基盤は何か？
• RQ5 辞書的およびハダマンド構成を超えて、使用可能な決定的摂動のクラスを意味的に拡張できるか？

主な発見

• 本稿は、辞書的およびハダマンドベースの構成といった、これまでに知られていたものよりも広いクラスの決定的摂動列を特定した。
• すべての決定的摂動の中で最も短いサイクル長を持つ新しい決定的摂動列を提案した。これにより、冗長性が低減され、効率性が向上した。
• シミュレーションでは、提案された摂動列がランダムおよびハダマンドベースの対応物よりも収束が速く、勾配推定の分散が低いことが示された。
• 一般化された決定的摂動を使用したRDKWアルゴリズムは、標準的な確率的近似条件のもとでほとんど確実に収束することが証明された。
• 性能向上は、構造的でランダムでない摂動によるノイズ低減に起因し、より正確な勾配推定が得られたためである。
• 提案手法は理論的保証を維持しつつ、最適化の速度と安定性の面で実用的な改善をもたらした。