[論文レビュー] O(logT) Projections for Stochastic Optimization of Smooth and Strongly Convex Functions

Lijun Zhang, Tianbao Yang+2 more|arXiv (Cornell University)|Apr 2, 2013

Stochastic Gradient Optimization Techniques参考文献 36被引用数 10

ひとこと要約

本稿では、ミニバッチ、エクストラグredient、エポック勾配降下法の技術を組み合わせることで、滑らかで強く凸な関数に対して、O(log T)回の投影のみを用いて、最適な O(1/T) 収束速度を達成する、新しい確率的最適化アルゴリズムを提案する。この手法により、正定値コーンのような複雑なドメインにおいても、投影の計算コストを大幅に削減しつつ、収束速度を損なわない。

ABSTRACT

Traditional algorithms for stochastic optimization require projecting the solution at each iteration into a given domain to ensure its feasibility. When facing complex domains, such as positive semi-definite cones, the projection operation can be expensive, leading to a high computational cost per iteration. In this paper, we present a novel algorithm that aims to reduce the number of projections for stochastic optimization. The proposed algorithm combines the strength of several recent developments in stochastic optimization, including mini-batch, extra-gradient, and epoch gradient descent, in order to effectively explore the smoothness and strong convexity. We show, both in expectation and with a high probability, that when the objective function is both smooth and strongly convex, the proposed algorithm achieves the optimal $O(1/T)$ rate of convergence with only $O(\log T)$ projections. Our empirical study verifies the theoretical result.

研究の動機と目的

• 正定値コーンのような複雑なドメインにおける確率的最適化における、高コストな投影回数を削減すること。
• 滑らかで強く凸な関数に対して、最適な O(1/T) 収束速度を維持しつつ、投影回数を最小限に抑えること。
• 決定的最適化の知見にインspiredして、O(log T)回の投影で最適収束が達成可能かどうかを検討すること。
• ミニバッチ、エクストラグredient、エポック勾配降下法を統合し、滑らかさと強く凸性を活用する手法を開発すること。
• 理論的および実験的に、提案手法が最小限の投影回数で最適な収束を達成することを検証すること。

提案手法

• ステップごとの確率的勾配の分散を低減するために、ミニバッチ勾配推定を統合する。
• 非単調な設定でも安定性と収束性を向上させるために、エクストラグredientステップを採用する。
• 強い凸性を満たす条件下で収束を保証するため、適応的ステップサイズを用いたエポックベースの勾配降下法を採用する。
• 各エポックの開始時にのみ投影を実行することで、総投影回数を O(log T) に削減する。
• 滑らかさと強い凸性の下で、期待値と高確率での収束を理論的に証明する。
• バッチサイズ、エポック長、ステップサイズの相互作用を活用して、分散低減と収束速度のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 滑らかで強く凸な関数の確率的最適化において、O(log T)回の投影でのみ最適な O(1/T) 収束速度を達成できるか？
• RQ2 ミニバッチとエクストラグredient技術を効果的に組み合わせることで、投影頻度を低減しつつ収束性能を劣化させないか？
• RQ3 滑らかさと強く凸性を活用することで、決定的最適化に類似した収束レートを確率的設定でも達成可能か？
• RQ4 標準的な SGD やエポック勾配降下法と比較して、提案手法の投影効率と収束速度はどのように異なるか？
• RQ5 理論的 O(log T) 投影バウンドが、合成的および実世界の問題において実験的に妥当であるかを検証できるか？

主な発見

• 提案手法は、滑らかで強く凸な関数に対して、期待値および高確率での収束速度が最適な O(1/T) を達成する。
• 投影回数が O(log T) にまで削減され、標準的な SGD やエポック勾配降下法（O(T) 投影を要する）と比較して顕著な改善が得られる。
• 正定値行列制約付きの行列最適化問題における実験結果から、1回の投影あたりの目的関数の低下が SGD や EP_GD よりも速いことが示された。
• 距離行列学習タスクでは、ベースライン手法と同等の目的関数値を達成するが、はるかに少ない投影回数で実現された。
• 理論的バウンドには (log log T)^4 項が含まれており、これが他手法と比較してやや高い定数項を説明している。
• 正定値コーンのような複雑なドメインであっても、投影が計算的に高コストである場合でも、O(1/T) の収束速度を維持する。