[論文レビュー] An Accelerated DFO Algorithm for Finite-sum Convex Functions

Yu-Wen Chen, Antonio Orvieto+1 more|arXiv (Cornell University)|Jul 7, 2020

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、有限和凸関数に対する導出不要最適化アルゴリズム ZO-Varag を提案する。この手法は、分散低減とガウススムージング、およびモーメンタムを組み合わせることで、加速された収束速度を達成する。滑らかな凸関数および強い凸関数の両設定において、理論的に加速された収束が保証され、複数のデータセットで実証的に検証されており、ハイパーパramータの変動に対しても安定した性能を示す。

ABSTRACT

Derivative-free optimization (DFO) has recently gained a lot of momentum in machine learning, spawning interest in the community to design faster methods for problems where gradients are not accessible. While some attention has been given to the concept of acceleration in the DFO literature, existing stochastic algorithms for objective functions with a finite-sum structure have not been shown theoretically to achieve an accelerated rate of convergence. Algorithms that use acceleration in such a setting are prone to instabilities, making it difficult to reach convergence. In this work, we exploit the finite-sum structure of the objective in order to design a variance-reduced DFO algorithm that provably yields acceleration. We prove rates of convergence for both smooth convex and strongly-convex finite-sum objective functions. Finally, we validate our theoretical results empirically on several tasks and datasets.

研究の動機と目的

• 有限和凸関数に対する、理論的に加速された導出不要最適化アルゴリズムの設計。
• 勾配情報が得られない状況下で、確率的 DFO 環境におけるモーメンタムの不安定性を分散低減によって解消すること。
• 有限和構造を活用することで、勾配のアクセスなしにより速い収束レートを達成すること。
• 理論的収束レートを、実世界のデータセット上で実証的に検証すること。

提案手法

• 関数評価による勾配推定を実現するため、ガウススムージングを用いる。これにより、明示的な導出計算を回避する。
• Varag フレームワークを用いて分散低減を実施し、勾配推定のノイズを低減する。
• モーメンタムパラメータ $ p = 0.5 $ を用いたカツヤーシュタイルの更新法を組み込み、理論的安定性を保証する。
• 効率的な関数クエリ使用を可能にする二点確率的推定器を用いて勾配近似を実現する。
• 各座標ごとの収束を向上させ、スターリング効果を低減するために、座標別バージョンを導入する。
• 収束を改善するための平均化戦略（オプション I および II）を用いるが、実際の実験ではオプション II（平均化なし）が優れていることが示されている。

実験結果

リサーチクエスチョン

• RQ1 導出不要アルゴリズムは、有限和凸関数に対して加速された収束レートを達成できるか？
• RQ2 勾配が入手不可な状況下で、確率的 DFO 環境におけるモーメンタムをどのように安定化できるか？
• RQ3 分散低減は、DFO における収束速度と安定性の向上にどのような役割を果たすか？
• RQ4 スムージングパラメータ $ \nu $、ステップサイズ、およびモーメンタム $ p $ といったハイパーパramータは、収束と最終的な非最適性にどのように影響を与えるか？
• RQ5 アルゴリズムの座標別バージョンは、実際の応用において標準バージョンを上回る性能を示すか？

主な発見

• ZO-Varag は、滑らかな凸関数および強い凸関数の両方において、理論的最適レートに一致する加速された収束レートを達成する。
• 理論的解析により、$ p = 0.5 $ を用いることで、アルゴリズムの収束が安定かつ加速されることを保証している。
• 実験的結果では、糖尿病および ijcnn1 データセットの両方で、オプション II（平均化なし）がオプション I（平均化あり）よりも収束が速いことが示された。
• スムージングパラメータ $ \nu $ を小さくすると、特にロジスティック回帰では最終的な非最適性が低下するが、リッジ回帰ではその影響は無視できる。
• ステップサイズ $ \alpha_s \gamma_s $ はスターリング効果を制御する：これを小さくすると非最適性は低下するが、収束が遅くなる。
• 座標別バージョンは実際の応用において ZO-Varag とほぼ同等の性能を示し、$ d $ 倍の大きなステップサイズのため、スターリング誤差にわずかな差異が生じるのみである。