[論文レビュー] Improving the Convergence Rate of One-Point Zeroth-Order Optimization using Residual Feedback.

Yan Zhang, Yi Zhou+2 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Bandit Algorithms Research参考文献 18被引用数 12

ひとこと要約

本稿では、1回の関数評価で反復する1点零次最適化手法を提案し、残差フィードバックを用いて、従来の2点スキームと同等の収束速度を達成する。連続するフィードバック点の差分から勾配を推定することで、決定的かつリプシッツ勾配関数において最適なクエリ複雑度を達成し、確率的バンドイット設定でも2点ZOOの性能を再現する。

ABSTRACT

Many existing zeroth-order optimization (ZO) algorithms adopt two-point feedback schemes due to their fast convergence rate compared to one-point feedback schemes. However, two-point schemes require two evaluations of the objective function at each iteration, which can be impractical in applications where the data are not all available a priori, e.g., in online optimization. In this paper, we propose a novel one-point feedback scheme that queries the function value only once at each iteration and estimates the gradient using the residual between two consecutive feedback points. When optimizing a deterministic Lipschitz function, we show that the query complexity of ZO with the proposed one-point residual feedback matches that of ZO with the existing two-point feedback schemes. Moreover, the query complexity of the proposed algorithm can be improved when the objective function has Lipschitz gradient. Then, for stochastic bandit optimization problems, we show that ZO with one-point residual feedback achieves the same convergence rate as that of ZO with two-point feedback with uncontrollable data samples. We demonstrate the effectiveness of the proposed one-point residual feedback via extensive numerical experiments.

研究の動機と目的

• 完全なデータアクセスが不可能なオンラインまたはストリーミング最適化において、2点フィードバックの非現実性に対処する。
• 通常、2点スキームに劣る1点零次最適化の収束速度を改善する。
• 1回の反復あたりの関数評価を1回に削減しながら、2点ZOO手法と同等のクエリ複雑度を達成する。
• 提案手法を確率的バンドイット最適化に拡張し、制御不能なデータサンプル下でもその頑健性を示す。

提案手法

• 1回の反復あたり1回の目的関数クエリのみを実行する1点フィードバックスキームを導入し、2回の評価を回避する。
• 連続する反復点の関数値の差分（残差）を用いて勾配を推定し、勾配方向を近似する。
• 目的関数のリプシッツ連続性を活用して推定誤差をバインドし、収束を保証する。
• 決定的およびリプシッツ勾配関数に対する理論的クエリ複雑度の上限を導出し、2点ZOOスキームと同等であることを示す。
• 制御不能で逐次的なデータサンプルが得られる確率的バンドイット設定に、残差フィードバック機構を適応させる。
• 理論的分析により、同一条件下で2点ZOOと同等の収束速度を達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 1回の反復あたり1回の関数評価のみで、2点ZOO手法と同等の収束速度を達成できる1点零次最適化スキームは存在するか？
• RQ2 決定的およびリプシッツ勾配条件下で、残差フィードバック機構は1点ZOOにおける勾配推定の精度をどのように向上させるか？
• RQ3 決定的および滑らかな目的関数に対して、提案された1点残差フィードバック手法のクエリ複雑度は何か？
• RQ4 制御不能なデータサンプルが得られる確率的バンドイット最適化において、提案手法は2点ZOOと同等の収束速度を維持するか？

主な発見

• 提案された1点残差フィードバック手法は、決定的かつリプシッツ関数に対して、2点ZOOスキームと同等のクエリ複雑度を達成する。
• リプシッツ勾配関数に対しては、標準的な1点ZOOよりも、提案手法のクエリ複雑度をさらに改善できる。
• 確率的バンドイット最適化において、1回の関数評価で反復するにもかかわらず、2点ZOOの収束速度と同等の性能を示す。
• 数値実験により、従来の1点ZOOアプローチに比べ、提案手法の有効性と実用的優位性が確認された。