[論文レビュー] Efficient Stochastic Gradient Descent for Distributionally Robust Learning

Soumyadip Ghosh, Mark S. Squillante+1 more|arXiv (Cornell University)|May 22, 2018

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

本稿では、小規模なサブセットから全データセットへと段階的にデータサポートを拡大することでスケーラビリティを向上させる、分布的に堅牢な学習のための新しい確率的勾配降下法を提案する。動的に増加する訓練バッチサイズにより、特に大規模データセットにおいて、標準的な確率的手法よりも高速な収束とより優れた一般化性能を達成する。

ABSTRACT

We consider a new stochastic gradient descent algorithm for efficiently solving general min-max optimization problems that arise naturally in distributionally robust learning. By focusing on the entire dataset, current approaches do not scale well. We address this issue by initially focusing on a subset of the data and progressively increasing this support to statistically cover the entire dataset.

研究の動機と目的

• 完全バッチ計算に依存するため、既存の確率的勾配降下法が分布的に堅牢な学習においてスケーラビリティに劣っている問題に対処すること。
• 大規模データセットにおける計算負荷を低減しつつ、堅牢性を維持する効率的な最適化フレームワークの開発。
• 訓練に使用するデータサブセットを動的に拡大することで、収束速度の向上と一般化性能の向上を実現すること。
• 現実の機械学習応用における分布的に堅牢な最適化と実用的スケーラビリティのギャップを埋めること。

提案手法

• 初期の計算コストを低減するため、データの小さなランダム選択サブセットで訓練を開始する。
• 最適化が進行するに従い、段階的に訓練バッチサイズを増加させ、より広範なデータカバレッジを確保する。
• 分布的に堅牢な学習に一般的なミニマックス最適化構造を維持し、最も深刻な分布シフトに焦点を当てる。
• 拡大するデータサブセット上で確率的勾配を計算し、損失関数の探索と活用のバランスを取る。
• 段階的データ拡大は、統計的カバレッジの向上と勾配推定の分散低減を目的として設計されている。
• 収束速度と安定性の向上を図るため、適応的学習率戦略を統合する。

実験結果

リサーチクエスチョン

• RQ1 分布的に堅牢な学習における確率的勾配降下法を、堅牢性を損なわずにスケーラビリティを向上させる方法は何か？
• RQ2 訓練データサブセットを段階的に拡大することが、収束速度と一般化性能に与える影響は何か？
• RQ3 動的データサポート戦略は、大規模データセットにおいて性能を維持しつつ計算コストを低減できるか？
• RQ4 提案手法は、分布シフトに対する耐性という観点で、標準的なSGDと比べてどのように異なるか？

主な発見

• 提案手法は、大規模な分布的に堅牢な学習問題において、標準的な確率的勾配降下法よりも高速な収束を達成する。
• 段階的データ拡大により、複数のベンチマークデータセットで一般化性能が向上する。
• アルゴリズムは、初期段階から完全バッチ勾配計算を回避することで、計算負荷を低減する。
• 段階的に拡大するデータサブセットで学習させても、分布シフトに対する堅牢性を維持する。