[論文レビュー] A gradient estimator via L1-randomization for online zero-order optimization with two point feedback

Arya Akhavan, Evgenii Chzhen+2 more|arXiv (Cornell University)|May 27, 2022

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿は、2点フィードバックを伴うオンラインゼロオーダー最適化のための新規なL1ランダム化に基づく勾配推定器を導入し、凸かつリプシッツな設定でより良いレジットバウンドを実現する。この手法は、未知の問題パラメータ（次元、リプシッツ定数など）に適応するデータ駆動型の性能を達成し、最先端の結果と同等またはそれを上回る。特に、ℓ₁ノルムリプシッツ仮定下で√log(d)要因のレート改善が達成され、ノイズのキャンセリングも可能である。

ABSTRACT

This work studies online zero-order optimization of convex and Lipschitz functions. We present a novel gradient estimator based on two function evaluations and randomization on the $\ell_1$-sphere. Considering different geometries of feasible sets and Lipschitz assumptions we analyse online dual averaging algorithm with our estimator in place of the usual gradient. We consider two types of assumptions on the noise of the zero-order oracle: canceling noise and adversarial noise. We provide an anytime and completely data-driven algorithm, which is adaptive to all parameters of the problem. In the case of canceling noise that was previously studied in the literature, our guarantees are either comparable or better than state-of-the-art bounds obtained by Duchi et al. (2015) and Shamir (2017) for non-adaptive algorithms. Our analysis is based on deriving a new weighted Poincaré type inequality for the uniform measure on the $\ell_1$-sphere with explicit constants, which may be of independent interest.

研究の動機と目的

• 勾配が利用できない状況（ノイズ付きの関数値のみ）におけるオンラインゼロオーダー最適化の課題に取り組む。
• 従来のℓ₂またはℓ∞-ランダム化に依存する手法の限界を克服し、ℓ₁-スフィアに基づく勾配推定器を導入する。
• 次元やリプシッツ定数といった未知の問題パラメータに適応する、いつでも利用可能な（anytime）、データ駆動型のアルゴリズムを構築する。
• ノイズのキャンセリング（ノイズ項が相殺される）と悪意のあるノイズ（最悪のノイズ）の両方のモデルに対して性能を分析する。
• 既存のバウンドを改善する理論的保証を確立し、特にℓ₁ノルム設定下で優れた結果を得る。また、ℓ₁-スフィア上の均一測度に対する新しいポアンカレ型不等式を導出する。

提案手法

• ℓ₁-スフィア上に一様に分布するランダムベクトルを用いた2点フィードバック勾配推定器を提案し、部分勾配の不偏推定を可能にする。
• オンラインデュアルアveraging（ODA）フレームワークにこの推定器を統合し、凸かつリプシッツな設定下で累積レジットを最小化する。
• ℓ₁-スフィア上の均一測度に対する重み付きポアンカレ型不等式を用いて分散を制御し、鋭い集中不等式を導出する。
• 観測された関数値に基づいてステップサイズをチューニングする適応的アルゴリズムを設計し、問題パラメータの事前知識を不要にする。
• 観測されたノイズと関数変動に応じて動的に調整される新しいパrameterization戦略を採用し、いつでも利用可能な性能を保証する。
• キャンセリングノイズと悪意のあるノイズの両モデルを分析し、両者において強いレジット保証を維持できることを示す。

実験結果

リサーチクエスチョン

• RQ1 ℓ₁ランダム化に基づく勾配推定器は、既存のℓ₂またはℓ∞に基づく推定器を上回る性能を示せるか？
• RQ2 キャンセリングノイズ下で、ℓ₁ノルムリプシッツ仮定と2点フィードバックのもとで達成可能な最適なレジットレートは何か？
• RQ3 次元、リプシッツ定数、ノイズレベルの事前知識が得られない状況でも、良好な性能を発揮する適応的かつデータ駆動型のアルゴリズムを構築可能か？
• RQ4 提案された推定器は悪意のあるノイズに対してロバストであるか？キャンセリングノイズの場合と比較して、レジットレートはどのようになるか？
• RQ5 ℓ₁-スフィア上の均一測度に対して、明示的な定数を伴う新しいポアンカレ型不等式を導出可能か？また、この不等式はゼロオーダー最適化の解析に有用であるか？

主な発見

• 提案されたL1ランダム化勾配推定器は、目的関数がℓ₁-リプシッツかつ実行可能集合が確率単体である場合、先行研究と比較して√log(d)要因の改善を達成するレジットバウンドを実現する。
• ℓ₂-リプシッツ関数に対しては、Shamir（2017）の最先端結果と絶対定数の差異を除き一致するレジットバウンドを達成し、次元依存性を明示的に制御できる。
• キャンセリングノイズ下では、q = 2の場合にO(√(T log d))、q = 1の場合にlog(d)要因の差異を除きO(√(T log d))のレジットレートを達成し、既知の下界と一致する。
• 適応的バージョンのアルゴリズムは、キャンセリングノイズ下では非適応型と同等の性能を発揮し、悪意のあるノイズ下でもわずかに劣る性能を示す。
• 本稿では、ℓ₁-スフィア上の均一測度に対する重み付きポアンカレ不等式を明示的な定数を伴って導出し、これは技術的貢献の核であり、より広範な応用可能性を有する。
• 悪意のあるノイズ下では、レジットレートがO(T^{3/4})となる。これは、この設定下で適応的かつデータ駆動型のアルゴリズムに対して初めての保証であり、最適性は未解決のままである。