[論文レビュー] The Power of First-Order Smooth Optimization for Black-Box Non-Smooth Problems

Alexander Gasnikov, Anton Novitskii+7 more|arXiv (Cornell University)|Jan 28, 2022

Stochastic Gradient Optimization Techniques被引用数 12

ひとこと要約

本稿では、ブラックボックス非滑らか凸問題を最適なオракル複雑度とほぼ最適な反復複雑度で解くために、一般化されたスムージングに基づくフレームワークを提案する。確率的スムージングとバッチ並列ゼロ番目のオラクルクエリを活用することで、反復回数は $ O(d^{1/4} M_2 R / \varepsilon) $、1反復あたりのオラクル呼び出し回数は $ O(d^{3/4} M_2 R / \varepsilon) $ に抑えられ、非滑らか設定における反復複雑度の理論的下界と一致する。

ABSTRACT

Gradient-free/zeroth-order methods for black-box convex optimization have been extensively studied in the last decade with the main focus on oracle calls complexity. In this paper, besides the oracle complexity, we focus also on iteration complexity, and propose a generic approach that, based on optimal first-order methods, allows to obtain in a black-box fashion new zeroth-order algorithms for non-smooth convex optimization problems. Our approach not only leads to optimal oracle complexity, but also allows to obtain iteration complexity similar to first-order methods, which, in turn, allows to exploit parallel computations to accelerate the convergence of our algorithms. We also elaborate on extensions for stochastic optimization problems, saddle-point problems, and distributed optimization.

研究の動機と目的

• 非滑らか凸最適化におけるオラクル複雑度が最適であるにもかかわらず、反復複雑度のギャップを埋めること。
• 関数値クエリのみを用いて、第一階の滑らか最適化技術を非滑らか問題に適用可能なブラックボックス手法を開発すること。
• 1反復あたりのオラクル呼び出しを最小限に抑えつつ、最適な総オラクル複雑度を維持することで並列計算を可能にすること。
• フレームワークを確率的最適化、サドルポイント最適化、分散最適化の設定に拡張すること。
• 強化学習および回帰タスクにおける勾配ベース手法と比較して、本手法の実験的性能が優れていることを示すこと。

提案手法

• 関数 $ f_\gamma(x) = \mathbb{E}_u[f(x+u)] $ を用いた確率的スムージングスキームを導入し、$ u \sim \text{Unif}(B^d_2(\gamma)) $ とする。非滑らか関数 $ f $ を滑らか近似に変換する。
• 滑らか近似 $ f_\gamma $ を $ f $ の代わりに使用することで、既知の収束保証を持つ最適な第一階の最適化手法を適用可能にする。
• 複数の点を1反復で同時にクエリするバッチ並列ゼロ番目のアルゴリズムを設計し、1反復あたりのオラクルコストを最小限に抑えつつ、総オラクル複雑度の最適性を維持する。
• バッチ処理、再起動、共分散投影技術を用いた還元により、確率的・サドルポイント的・分散最適化問題に本フレームワークを適用する。
• 収束速度の向上と問題構造への適応を図るため、アルゴリズム設計に非ユークリッド幾何を活用する。
• 関数評価のみを用いて $ \nabla f_\gamma $ を近似するため、不正確な勾配近似（中央差分および前進差分）を実装する。

実験結果

リサーチクエスチョン

• RQ1 ゼロ番目のオラクルを用いて、非滑らかブラックボックス問題に第一階の滑らか最適化手法を適応可能にし、最適なオラクル複雑度と反復複雑度を達成できるか？
• RQ2 ゼロ番目の非滑らか最適化において、最適なオラクル複雑度を損なわず、ほぼ最適な反復複雑度を達成できるか？
• RQ3 スムージング半径 $ \gamma $ や幾何（例：ユークリッド対非ユークリッド）の選択が、ゼロ番目の手法の収束速度および安定性に与える影響は何か？
• RQ4 本フレームワークは、確率的・サドルポイント的・分散最適化問題に拡張可能であり、複雑度の境界を保持できるか？
• RQ5 本スキームに基づくゼロ番目の手法の性能は、実用的な強化学習および回帰タスクにおいて勾配ベース手法と比較してどの程度か？

主な発見

• 提案手法は $ O(d^{1/4} M_2 R / \varepsilon) $ の反復複雑度を達成し、非滑らかゼロ番目の問題における下界 $ \min\{d^{1/4} \varepsilon^{-1}, d^{1/3} \varepsilon^{-2/3}\} $ と一致する。
• 1反復あたりのオラクル呼び出し回数は $ O(d^{3/4} M_2 R / \varepsilon) $ に抑えられ、1反復あたりのコストが最適であり、並列処理が効率的に行える。
• 総オラクル呼び出し回数は最適であり、ゼロ番目の非滑らか凸最適化における既知の下界と一致する。
• Reacher-v2、abalone、a9a データセットにおける実験結果から、中央差分および前進差分によるゼロ番目の勾配を用いた ADAM は、正確な勾配を用いた場合とほぼ同等の性能を示し、特に適切に選ばれた $ \gamma $ では顕著である。
• 中央差分は、点間隔が大きいため、数値誤差に対して前進差分よりもより頑健であることが確認され、理論的期待と一致する。
• バッチ処理、再起動、共分散投影などの標準的手法を用いることで、フレームワークは確率的・サドルポイント的・分散設定に拡張可能であり、複雑度境界を保持する。