[論文レビュー] Efficient Stochastic Gradient Descent for Learning with Distributionally Robust Optimization

Soumyadip Ghosh, Mark S. Squillante+1 more|arXiv (Cornell University)|May 22, 2018

Risk and Portfolio Optimization参考文献 20被引用数 5

ひとこと要約

本稿では、外側の最小化に勾配降下法を適用し、内側の最大化に標本平均近似（SAA）を組み合わせることで、分布的にロバストな最適化（DRO）問題を効率的に解く新しい確率的最適化アルゴリズムである分布的にロバストな確率的勾配降下法（DSSG）を提案する。この手法は、内側勾配の推定に使用するサブセットサイズを動的に増加させることで、確率的誤差と計算コストの理論的バランスを達成し、最適な収束を実現する。実験的に、正則化されたE minimizing（ERM）と比較して、訓練時間が数個のオーダー短縮されるなど、顕著な一般化性能の向上を示している。

ABSTRACT

Distributionally robust optimization (DRO) problems are increasingly seen as a viable method to train machine learning models for improved model generalization. These min-max formulations, however, are more difficult to solve. We therefore provide a new stochastic gradient descent algorithm to efficiently solve this DRO formulation. Our approach applies gradient descent to the outer minimization formulation and estimates the gradient of the inner maximization based on a sample average approximation. The latter uses a subset of the data in each iteration, progressively increasing the subset size to ensure convergence. Theoretical results include establishing the optimal manner for growing the support size to balance a fundamental tradeoff between stochastic error and computational effort. Empirical results demonstrate the significant benefits of our approach over previous work, and also illustrate how learning with DRO can improve generalization.

研究の動機と目的

• 機械学習におけるmin-max DRO定式化の計算的課題に対処すること。これは、標準的な経験的リスク最小化よりも複雑である。
• 内側の最大化問題を適応的標本平均近似を用いることで、効率的に処理できる確率的最適化手法を開発すること。
• 確率的近似誤差と計算コストのトレードオフを理論的に最適化する、サポートサイズの増加戦略を確立すること。
• 実験的に、DSSGが正則化されたERMよりも優れた一般化性能を達成し、計算コストの大幅な削減を実現することを検証すること。
• ハイパーパrameterチューニングが不要な、E minimizing（ERM）の代替手段を提供すること。モデル学習に分布的不確実性を自然に組み込むことができる。

提案手法

• DRO定式化の外側最小化問題に確率的勾配降下法を適用し、最悪ケースの期待損失を目的関数として扱う。
• 内側最大化問題に対しては、データの成長するサブセット上で標本平均近似（SAA）を用い、各反復でサポートサイズを段階的に増加させる。
• サブセットサイズの増加率は、確率的近似誤差と計算作業のトレードオフを理論的に分析し、導出される。
• $φ$-発散制約（$χ^2$およびKL発散を含む）に一般化可能であり、基底分布は一様な経験分布$U_N$に設定される。
• 最悪ケース損失の勾配は、データのサブセットを用いて推定され、サブセットサイズの増加率を制御することで収束を保証する。
• 凸損失関数に適用可能であり、双対性と凸最適化の原則を活用することで理論的保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 完全な内側最大化を各ステップで行わずに、min-max DRO定式化を効率的に解く確率的勾配法を設計できるか？
• RQ2 DROにおける確率的誤差と計算コストのバランスを最適化するため、標本平均近似におけるサブセットサイズの最適な増加率は何か？
• RQ3 提案手法は、ハイパーパrameterチューニングの必要性を減らしながら、正則化された経験的リスク最小化（ERM）よりも優れた一般化性能を達成できるか？
• RQ4 異なるデータセット（$d/N$比やデータ特性の違いを含む）において、DSSGの性能はどのように変化するか？
• RQ5 一様な$ρ$値（例：0.1）を用いたDROは、広範なハイパーパrameter探索を必要とせずに、さまざまなデータセットでロバストな一般化を実現できるか？

主な発見

• DSSGは14の多様なデータセットにおいて、10分割交差検証を施したERMと同等またはそれ以上のテスト誤分類率を達成し、表2では最高性能が太字で強調されている。
• adultおよびimdb.dramaデータセットでは、$\rho=0.1$のDROが、それぞれ$\mathbf{16.6\pm 0.1}$%および$\mathbf{36.2\pm 0.1}$%のテスト誤差を達成し、最良のERM結果と同等またはそれを上回った。
• rcv1データセットでは、$\rho=0.1$のDROが$\mathbf{5.4\pm 0.0}$%のテスト誤差を達成し、ERMの$\mathbf{5.6\pm 0.0}$%を上回り、$\rho=1.0$および$\rho=0.01$よりも優れた性能を示した。
• 表1のCPU時間比較から、DSSGは10分割交差検証を施したERMと比較して、計算コストを1〜3桁のオーダー低減した。
• 図12に示すように、ERMとは異なり、$\lambda$に関するハイパーパrameterチューニングの必要性がなく、DSSGはデータセット全体で安定した性能を示した。
• 理論的分析により、最適なサブセットサイズの増加率が、確率的誤差と計算作業のバランスを取ることで、追加コストを最小限に抑えつつ収束を可能にすることが確認された。