[論文レビュー] Improve Single-Point Zeroth-Order Optimization Using High-Pass and Low-Pass Filters

Xin Chen, Yujie Tang+1 more|arXiv (Cornell University)|Nov 2, 2021

Extremum Seeking Control Systems参考文献 24被引用数 4

ひとこと要約

本稿では、分散を低減し収束を加速するためにハイパスフィルタとローパスフィルタを統合した、新しい単一評価点ゼロ次順序最適化手法HLF-SZOを提案する。ハイパスフィルタを残差フィードバックと解釈し、ローパスフィルタをモーメンタムとみなすことにより、凸および非凸設定の両方で、$ ilde{ abla} f(x_k)$ の反復複雑度が $ abla f(x_k)$ の $ ilde{ abla} f(x_k)$ に改善され、$ ilde{ abla} f(x_k)$ に比べて優れた性能を示す。

ABSTRACT

Single-point zeroth-order optimization (SZO) is useful in solving online black-box optimization and control problems in time-varying environments, as it queries the function value only once at each time step. However, the vanilla SZO method is known to suffer from a large estimation variance and slow convergence, which seriously limits its practical application. In this work, we borrow the idea of high-pass and low-pass filters from extremum seeking control (continuous-time version of SZO) and develop a novel SZO method called HLF-SZO by integrating these filters. It turns out that the high-pass filter coincides with the residual feedback method, and the low-pass filter can be interpreted as the momentum method. As a result, the proposed HLF-SZO achieves a much smaller variance and much faster convergence than the vanilla SZO method and empirically outperforms the residual-feedback SZO method, which is verified via extensive numerical experiments.

研究の動機と目的

• オンラインおよび時変環境における、通常の単一評価点ゼロ次順序最適化（SZO）の高い推定分散と遅い収束を解消すること。
• エクストリームムセーディング制御からフィルタリング技術を借用することで、ゼロ次順序最適化とエクストリームムセーディング制御のギャップを埋めること。
• 従来の手法よりも高速な収束と低い分散を達成する新しいSZO手法を開発すること。
• 標準的な滑らかさおよびリプシッツ条件の下で、提案手法の改善された反復複雑度を理論的に確立すること。
• 挑戦的な最適化課題において、通常のSZOおよび残差フィードバックSZOよりも優れた性能を実験的に検証すること。

提案手法

• 本手法は、SZOフレームワークにハイパスフィルタを統合しており、最近の研究で用いられる残差フィードバック方式と数学的に同等である。
• 収束速度を向上させるために、モーメンタム（ヘビーボール）法を模倣するローパスフィルタを組み込む。
• 統合されたフィルタリング機構により、ノイズが多いまたは非定常な環境でも勾配推定の分散が低減され、安定性が向上する。
• アルゴリズムは反復ごとに1回の関数評価のみを必要とし、SZOのオンラインおよび適応的性質を保っている。
• フィルタリング処理は時間離散化形式で実装されており、ノイズ除去と応答性のバランスを取るためにパラメータが調整されている。
• 本手法はオンラインおよびブラックボックス最適化と互換性があり、特に制御および強化学習の文脈で有効である。

実験結果

リサーチクエスチョン

• RQ1 エクストリームムセーディング制御から借用したハイパスおよびローパスフィルタリング技術は、単一評価点ゼロ次順序最適化に効果的に適応可能か？
• RQ2 フィルタリング機構を統合することで、通常のSZOおよび残差フィードバックアプローチと比較して、SZOにおける分散低減と収束加速が達成できるか？
• RQ3 標準的な滑らかさおよびリプシッツ条件の下で、提案されたHLF-SZO手法の理論的反復複雑度は何か？
• RQ4 HLF-SZOは、非定常またはノイズのある最適化問題（例：オンラインLQR制御）において実際の性能をどのように発揮するか？
• RQ5 フィルタリングに基づくアプローチは、2点Zオメソッドと同等の性能を達成しつつ、SZOの1回評価という利点を維持できるか？

主な発見

• 提案されたHLF-SZO手法は、凸および非凸問題の両方で反復複雑度 $ ilde{ abla} f(x_k)$ を達成し、通常のSZOの $ ilde{ abla} f(x_k)$ よりも改善されている。
• HLF-SZOにおけるハイパスフィルタ部は、勾配推定の分散を顕著に低減する残差フィードバック機構と同等である。
• ローパスフィルタ部はモーメンタム法に対応し、収束速度の向上に寄与している。
• LQR問題における数値実験では、HLF-SZOは残差フィードバックSZOよりも速く収束し、2点Zオメソッドと同等の性能を達成した。
• さまざまなシステムノイズレベル（δ = 0, 0.005, 0.01）の下で、HLF-SZOはすべてのケースで残差フィードバックSZOよりも速い収束と高い正確性を維持した。
• 実験的に、HLF-SZOは収束速度および分散低減の両面で通常のSZOを上回り、オンラインおよびノイズのある環境における実用的利点を示した。