[論文レビュー] Zeroth-Order Stochastic Variance Reduction for Nonconvex Optimization

Sijia Liu, Bhavya Kailkhura+4 more|arXiv (Cornell University)|May 25, 2018

Stochastic Gradient Optimization Techniques参考文献 28被引用数 48

ひとこと要約

ゼロ次オーダーの分散削減最適化法である ZO-SVRG を導入し、非凸問題に対する収束性とバイアスを分析し、2つの加速バリアントと実用的なブラックボックス応用で性能向上を実証する。

ABSTRACT

As application demands for zeroth-order (gradient-free) optimization accelerate, the need for variance reduced and faster converging approaches is also intensifying. This paper addresses these challenges by presenting: a) a comprehensive theoretical analysis of variance reduced zeroth-order (ZO) optimization, b) a novel variance reduced ZO algorithm, called ZO-SVRG, and c) an experimental evaluation of our approach in the context of two compelling applications, black-box chemical material classification and generation of adversarial examples from black-box deep neural network models. Our theoretical analysis uncovers an essential difficulty in the analysis of ZO-SVRG: the unbiased assumption on gradient estimates no longer holds. We prove that compared to its first-order counterpart, ZO-SVRG with a two-point random gradient estimator could suffer an additional error of order $O(1/b)$, where $b$ is the mini-batch size. To mitigate this error, we propose two accelerated versions of ZO-SVRG utilizing variance reduced gradient estimators, which achieve the best rate known for ZO stochastic optimization (in terms of iterations). Our extensive experimental results show that our approaches outperform other state-of-the-art ZO algorithms, and strike a balance between the convergence rate and the function query complexity.

研究の動機と目的

• 勾配を用いない zeroth-order（勾配なし）非凸最適化における分散削減の動機づけ。
• SVRG を zeroth-order 勾配推定量と組み合わせて ZO-SVRG を開発する。
• zeroth-order 推定によって生じる収束性と誤差項を分析する。
• 反復計算量を改善するための加速バリアントを提案する。
• ブラックボックス材料分類とブラックボックス敵対的攻撃生成における有効性を実証する。

提案手法

• 非凸有限和問題を定式化し、2点ゼロ次オーダー勾配推定量を採用する。
• SVRG（Algorithm 2）において真の勾配を混合済みのゼロ次オーダー勾配推定量で置換して ZO-SVRG を導入する。
• 混合勾配推定量の二次モーメント界を導出し、b<n の場合に O(d/b) の誤差項を同定する。
• サンプリングおよび平滑化パラメータを含む明示的な項を伴い、E[||∇f(x̄)||^2] ≤ … となる収束結果を示す。
• 反復計算量を改善するための加速を Avg-RandGradEst および CoordGradEst によって提案する。
• ZO-SVRG、ZO-SVRG-Ave、ZO-SVRG-Coord、ZO-SGD、ZO-SVRC の間でクエリ複雑性と収束を比較する。

実験結果

リサーチクエスチョン

• RQ1 分散削減技術は非凸目的関数の zeroth-order 最適化に効果的に適用できるか。
• RQ2 2点ゼロ次推定量を用いることが SVRG 型収束保証 に与える影響はどうか。
• RQ3 加速されたゼロ次分散削減バリアントは反復計算量とクエリ複雑性の点でどう比較されるか。
• RQ4 材料分類などの実世界のブラックボックス問題やブラックボックス敵対的攻撃において、これらの手法は良好に機能するか。

主な発見

• ZO-SVRG は zeroth-order 推定による O(d/b) の誤差項を伴うが、収束速度は SVRG に似たものを達成する。
• 2つの加速バリアント、ZO-SVRG-Ave および ZO-SVRG-Coord は、反復回数において既知の最高水準の ZO 收束界に到達できる。
• Avg-RandGradEst は O(d/b) の誤差を、方向数 q が適度な数であれば O(d/(bq)) に減らし、収束を加速する。
• CoordGradEst は最も高速な反復率を提供するが、関数クエリが多く必要で、総コストを増加させる。
• 実証的結果は、ZO-SVRG ファミリがブラックボックスの化学材料分類およびブラックボックス DNN 敵対的攻撃タスクにおいて ZO-SGD および ZO-SVRC を上回ることを示す。