[論文レビュー] A Light Touch for Heavily Constrained SGD

Andrew Cotter, Maya R. Gupta+1 more|arXiv (Cornell University)|Dec 15, 2015

Stochastic Gradient Optimization Techniques被引用数 3

ひとこと要約

この論文は、多数の制約を伴う大規模な凸最適化問題に対して、反復毎に制約のサブセットのみをチェックする確率的最適化手法LightTouchを提案する。制約の確率分布は反復ごとに動的に更新され、制約のチェック回数をmの対数的依存性まで低減する。収束性は維持され、24,576個の制約を持つ実世界のランク付けタスクにおいて、Projected SGDを上回る実行時間性能を達成する。

ABSTRACT

Minimizing empirical risk subject to a set of constraints can be a useful strategy for learning restricted classes of functions, such as monotonic functions, submodular functions, classifiers that guarantee a certain class label for some subset of examples, etc. However, these restrictions may result in a very large number of constraints. Projected stochastic gradient descent (SGD) is often the default choice for large-scale optimization in machine learning, but requires a projection after each update. For heavily-constrained objectives, we propose an efficient extension of SGD that stays close to the feasible region while only applying constraints probabilistically at each iteration. Theoretical analysis shows a compelling trade-off between per-iteration work and the number of iterations needed on problems with a large number of constraints.

研究の動機と目的

• 非常に多くの制約を伴う場合に、Projected Stochastic Gradient Descent (SGD) の計算ボトル neck を解消すること。
• 制約が多数存在するが最適解ではわずかにしか活性化されない場合に、制約評価の反復コストを低減すること。
• 反復ごとの制約チェック回数を最小限に抑えつつ、妥当性を維持する実用的なアルゴリズムを開発し、大規模な機械学習問題におけるスケーラビリティを向上させること。
• 特に制約が多い問題において、制約チェック総数の観点から、収束速度の向上を理論的に分析・実証すること。

提案手法

• 制約に対する確率分布を用い、反復ごとに最も違反度の高い制約に集中するように進化させる。
• 各反復で、制約の小さなランダムサンプルのみをチェックし、これらのサンプルに基づいて解を妥当性に近づける。
• アルゴリズムは制約違反の累積推定値を維持し、違反度が高い制約を優先するようにサンプリング分布を更新することで、非活性制約のチェック回数を削減する。
• 強い凸性を持つ目的関数に対しては、強凸性を活用するVariantsであるMidTouchを提案し、収束速度を向上させる。
• 各ステップで完全な射影を避けるために、軽量な確率的実装戦略を採用し、最終的な射影は最後にのみ実施する。
• 目的関数勾配、制約サンプリング、射影の3つのコンponentの分散と計算コストのバランスを取るために、動的ミニバッチを導入する。

実験結果

リサーチクエスチョン

• RQ1 非常に多くの制約を伴う問題において、収束性を損なわずに、Projected SGDの反復ごとの制約チェック回数を削減できるか？
• RQ2 多数の制約集合の中で、最も関連性の高い（すなわち、最も違反度が高い）制約を効率的に特定・集中的に処理する方法は何か？
• RQ3 大規模な制約付き最適化において、反復ごとの計算量と制約チェック総数の理論的トレードオフは何か？
• RQ4 確率的制約サンプリング戦略は、実行時間と妥当性の観点から、完全射影法と同等またはそれ以上の収束性能を達成できるか？

主な発見

• 非強凸問題では、ϵ-最適性に到達するための制約チェック総数を、O(m/ϵ²)から Õ((ln m)/ϵ² + m(ln m)^1.5/ϵ^1.5) に削減した。
• λ-強い凸な目的関数では、制約チェックの主要項がO(m/λ²ϵ)から Õ((ln m)/λ²ϵ) に低下し、mに対する漸近的依存性が改善された。
• 実際の実験では、LightTouchはFullTouchやApproxSGDよりも反復ごとの制約チェック回数が少なく、最適化が進むにつれてチェック回数が減少した。
• 24,576個の制約と612,587個の例を含む実世界のYouTubeランク付け問題において、制約の評価が安価であるにもかかわらず、LightTouchはFullTouchおよびApproxSGDを実行時間で上回った。
• 制約数が増加するか、制約の評価コストが高くなると、O(m)の分布維持コストが相対的に小さくなり、アルゴリズムの性能優位性はさらに拡大すると予想される。