[論文レビュー] A New One-Point Residual-Feedback Oracle For Black-Box Learning and Control

Yan Zhang, Yi Zhou+2 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Bandit Algorithms Research参考文献 29被引用数 5

ひとこと要約

本稿では、ブラックボックス学習および制御におけるゼロ次順序最適化のための、新規の1点残差フィードバックオラクルを提案する。この手法は、連続する反復点間の残差差分を用いて、1反復あたり1回の関数評価のみで勾配を推定する。決定的設定では2点フィードバック方式と同等のクエリ複雑度を達成し、確率的設定では2点方式と同等の収束レートを達成する。これにより、事前に全データが入手できないオンライン最適化が効率的に行える。

ABSTRACT

Zeroth-order optimization (ZO) algorithms have been recently used to solve black-box or simulation-based learning and control problems, where the gradient of the objective function cannot be easily computed but can be approximated using the objective function values. Many existing ZO algorithms adopt two-point feedback schemes due to their fast convergence rate compared to one-point feedback schemes. However, two-point schemes require two evaluations of the objective function at each iteration, which can be impractical in applications where the data are not all available a priori, e.g., in online optimization. In this paper, we propose a novel one-point feedback scheme that queries the function value once at each iteration and estimates the gradient using the residual between two consecutive points. When optimizing a deterministic Lipschitz function, we show that the query complexity of ZO with the proposed one-point residual feedback matches that of ZO with the existing two-point schemes. Moreover, the query complexity of the proposed algorithm can be improved when the objective function has Lipschitz gradient. Then, for stochastic bandit optimization problems where only noisy objective function values are given, we show that ZO with one-point residual feedback achieves the same convergence rate as that of two-point scheme with uncontrollable data samples. We demonstrate the effectiveness of the proposed one-point residual feedback via extensive numerical experiments.

研究の動機と目的

• 1点フィードバックの高分散および低速収束によるゼロ次順序最適化の非効率性を解消すること。
• 決定的および確率的設定において、2点フィードバック方式と同等のクエリ複雑度を達成する1点フィードバック方式を開発すること。
• 関数評価が高コストであるか、データが逐次的に到着するような実用的なオンライン最適化を可能にすること。
• 収束レートを損なわずに1反復あたりの関数クエリ数を削減すること、特にブラックボックス制御および学習の場面で有効であるようにすること。

提案手法

• 連続する点における関数値の差分を用いて勾配を推定する1点残差フィードバック勾配推定器を提案する。
• 推定器は $ \widetilde{\nabla}f(x) = \frac{1}{\delta} \left( f(x + \delta u) - f(x) \right) u $ で定義され、ここで $ u $ は標準正規分布から抽出される。
• 残差ダイナミクスを活用する新規な解析フレームワークを導入し、推定の分散を低減することで、2点方式と同等の性能を達成する。
• バイアスと分散のバランスを取るために、適応的ステップサイズ $ \eta \propto 1/\sqrt{T} $ と探索パラメータ $ \delta \propto T^{-1/4} $ を採用する。
• 確率的設定では、ミニバッチ勾配推定 $ \widetilde{g}_b(x) $ を用いてノイズを低減し、バッチサイズは $ b \propto \sqrt{T}/d $ と設定する。
• リプシッツ連続性および滑らかさの仮定の下で収束を分析し、期待される非最適性および勾配ノルムの境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 1点フィードバック方式は、ゼロ次順序最適化において2点フィードバック方式と同等のクエリ複雑度を達成できるか？
• RQ2 残差に基づく勾配推定は、十分に分散を低減でき、2点方式と同等の収束レートを達成できるか？
• RQ3 ノイズのある関数評価が存在する確率的設定でも、提案手法は高速な収束を維持できるか？
• RQ4 提案フレームワークにおいて、ステップサイズ、探索パラメータ、バッチサイズの最適なトレードオフは何か？

主な発見

• 提案された1点残差フィードバック方式は、決定的凸問題において $ \mathcal{O}(d^2 \epsilon^{-2}) $ のクエリ複雑度を達成し、最良の2点方式と同等である。
• 滑らかな関数に対しては、クエリ複雑度が $ \mathcal{O}(d^3 \epsilon^{-1.5}) $ に改善され、標準的な1点手法を上回る。
• 確率的設定では、クエリ複雑度が $ \mathcal{O}(\sigma^2 d^2 \epsilon^{-3} + \sigma_g^2 d \epsilon^{-2}) $ に抑えられ、制御不能なデータでも2点方式と同等の性能を達成する。
• 収束レートは $ \mathcal{O}(d / \sqrt{T} + d^2 / T) $ であり、$ \epsilon $-精度に到達するには $ T = \mathcal{O}(d^2 \epsilon^{-2}) $ 回の反復が必要であることを示唆する。
• 理論的分析により、残差フィードバックが分散を効果的に低減できることを確認し、1点方式がクエリ複雑度の面で2点方式と同等の性能を達成できることを裏付けた。
• 数値実験により、さまざまなブラックボックス最適化タスクにおいて本手法の有効性が検証され、高速な収束性と頑健性が示された。