[論文レビュー] Optimal Stochastic Strongly Convex Optimization with a Logarithmic Number of Projections

Jianhui Chen, Tianbao Yang+3 more|arXiv (Cornell University)|Apr 19, 2013

Sparse and Compressive Sensing Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、複雑な制約を伴う確率的強い凸最適化のためのエポックベースの確率的勾配降下法であるEpro-SGDを提案する。エポック内ではSGDを適用し、1エポックに1回のみ投影を行うことで、計算コストを著しく削減しながらも、実用的かつ高い精度と頑健性を維持した、最適なO(1/T)収束速度を達成する。

ABSTRACT

We consider stochastic strongly convex optimization with a complex inequality constraint. This complex inequality constraint may lead to computationally expensive projections in algorithmic iterations of the stochastic gradient descent~(SGD) methods. To reduce the computation costs pertaining to the projections, we propose an Epoch-Projection Stochastic Gradient Descent~(Epro-SGD) method. The proposed Epro-SGD method consists of a sequence of epochs; it applies SGD to an augmented objective function at each iteration within the epoch, and then performs a projection at the end of each epoch. Given a strongly convex optimization and for a total number of $T$ iterations, Epro-SGD requires only $\\log(T)$ projections, and meanwhile attains an optimal convergence rate of $O(1/T)$, both in expectation and with a high probability. To exploit the structure of the optimization problem, we propose a proximal variant of Epro-SGD, namely Epro-ORDA, based on the optimal regularized dual averaging method. We apply the proposed methods on real-world applications; the empirical results demonstrate the effectiveness of our methods.

研究の動機と目的

• 正定値または多面体集合などの複雑な制約を伴う確率的勾配降下法（SGD）における頻回な投影の計算コストの高い問題に対処すること。
• 高価な投影操作の回数を最小限に抑えながらも、最適な収束速度を維持する効率的なアルゴリズムの開発。
• 大規模な機械学習問題における複雑な実行可能領域を想定した、理論的にも実用的にも有効な手法の設計。
• 構造的性質（例：スパarsityや低ランク制約）を活用できるように、Epro-SGDを近接変換を組み込んだ拡張形、Epro-ORDAにより拡張すること。

提案手法

• Epro-SGDは最適化をエポックに分割し、各エポック内で増強目的関数に対して標準的なSGDを適用することで、中間の投影を回避する。
• 各エポックの終了時に1回の投影を実行することで、T反復における総投影回数をO(log T)にまで削減する。
• 増強目的関数は、対数バリア関数や正則化を用いて制約を組み込むことで、エポック内での勾配更新に制約投影を必要としないようにする。
• 強い凸性と分散が有界な確率的勾配オракルを活用することで、期待値および高確率での収束を保証する。
• Epro-ORDAは、最適な正則化双対平均法（ORDA）を統合することで、構造的問題における効率的な近接写像を実現する。
• 収束速度と実行可能性のバランスを取るために、適応的ステップサイズとエポック依存の学習率を用いる。

実験結果

リサーチクエスチョン

• RQ1 複雑な制約を伴う強い凸最適化問題において、収束速度を損なわずにSGDの投影回数を削減することは可能か？
• RQ2 エポックベースの投影戦略は、期待値および高確率の両方において、最適なO(1/T)収束速度を維持するか？
• RQ3 エポック-投影法の近接変換版は、スパarsityや低ランク制約といった問題構造を活用して、さらに効率性を向上させられるか？
• RQ4 提案手法は、1回の投影や全投影を伴う従来のSGD手法と比較して、収束速度および計算コストの点で優れているか？

主な発見

• Epro-SGDは、期待値および高確率の両方において、確率的強い凸最適化の理論的下界に一致する最適なO(1/T)収束速度を達成する。
• T反復における総投影回数はO(log T)にまで削減され、正定値制約におけるSVDなどの高価な投影操作の計算負荷を著しく軽減する。
• LassoとLMNNに対する実験では、Epro-SGDはSGD、OneProj、LogTよりも速く収束し、より少ない反復回数と計算時間で低い目的関数値を達成した。
• Coraデータセットでは、Epro-SGDは3622秒で収束に到達したが、OneProjやLogTは同程度の目的関数値を達成するにあたり、はるかに長い時間を要した。
• Epro-ORDAは問題構造を効果的に活用し、効率的な近接更新を可能にした。また、O(log T)の投影回数を維持しながらも、最適な収束性を保った。
• 実験結果から、Epro-SGDは理論的に最適であるだけでなく、計算コストの高い制約を伴う設定においても実用的に効率的であることが示された。