[論文レビュー] A Stochastic Subgradient Method for Distributionally Robust Non-Convex Learning

Mert Gürbüzbalaban, Andrzej Ruszczyński+1 more|arXiv (Cornell University)|Jun 8, 2020

Risk and Portfolio Optimization参考文献 54被引用数 4

ひとこと要約

本稿では、データ分布のシフトに対処するために半分散リスクを用いた分布ロバスト非凸学習のための確率的部分勾配法（STS）を提案する。非凸的かつ非滑らかな損失関数に対して、分布ロバスト性のもとで、標準的なSGDに比べて最小限の計算コストで、初めての静止点への収束保証を提供する。

ABSTRACT

We consider a distributionally robust formulation of stochastic optimization problems arising in statistical learning, where robustness is with respect to uncertainty in the underlying data distribution. Our formulation builds on risk-averse optimization techniques and the theory of coherent risk measures. It uses semi-deviation risk for quantifying uncertainty, allowing us to compute solutions that are robust against perturbations in the population data distribution. We consider a large family of loss functions that can be non-convex and non-smooth and develop an efficient stochastic subgradient method. We prove that it converges to a point satisfying the optimality conditions. To our knowledge, this is the first method with rigorous convergence guarantees in the context of non-convex non-smooth distributionally robust stochastic optimization. Our method can achieve any desired level of robustness with little extra computational cost compared to population risk minimization. We also illustrate the performance of our algorithm on real datasets arising in convex and non-convex supervised learning problems.

研究の動機と目的

• 非凸的かつ非滑らかな設定における分布ロバスト最適化の収束保証の欠如に対処する。
• 計算コストの大幅な増加なしに、データ分布の摂動に対してロバスト性を維持する効率的なアルゴリズムを開発する。
• 実世界の機械学習問題で一般的な上向き・下向きのカスプを持つ一般化微分可能な損失関数に対するロバスト学習を可能にする。
• 半分散リスクを用いた分布ロバスト定式化のもとで、最適性条件への理論的収束を提供する。
• 実データセットにおける分布シフト下で実用的なロバスト性を実証し、標準的なSGDを上回ることを示す。

提案手法

• データ分布の不確実性を測定するために、半分散リスクを用いて分布ロバスト問題を定式化する。
• 非凸的かつ非滑らかな損失関数に特化した確率的部分勾配法（STS）を提案する。
• ロバスト最適化問題のミニマックス構造を扱うために、ラグランジュ緩和とサンプルベースの近似を用いる。
• ロバストネスの水準を制御するためのペナルティパラメータ（κ）を導入し、ロバストネスと経験的性能のトレードオフを可能にする。
• 一貫したリスク測度と弱閉凸不確実性集合に基づく収束解析を用いて、静止点への収束を証明する。
• 大規模なデータセットにおけるロバストネスと効率性を確保するため、適応的ステップサイズとサンプリング戦略をSTSに適用する。

実験結果

リサーチクエスチョン

• RQ1 確率的部分勾配法は、非滑らかな損失関数を伴う分布ロバスト非凸最適化において、収束保証を達成できるか？
• RQ2 標準的なSGDと比較して、本手法はデータ分布のシフト下でどのように性能を発揮するか？
• RQ3 半分散リスクを用いた分布ロバスト性を実現する際の計算コストはどの程度か？
• RQ4 本手法は、カスプや微分不能点を有する損失関数を、ロバスト最適化枠組み内で効果的に処理できるか？
• RQ5 ロバストネスの水準κを変化させた場合、実世界のデータセットにおける一般化性能およびテスト性能にどのような影響を与えるか？

主な発見

• STS法は、分布ロバスト性のもとで非凸的かつ非滑らかな損失関数に対して静止点への収束を達成し、これが初めての理論的保証である。
• STSは、10%の訓練データの削除（例：MNISTやCIFAR10でクラス0を削除）といった分布シフトに対しても、最小限の計算コストでロバスト性を維持する。
• MNISTおよびCIFAR10において、κ = 0.8のSTSは、分布シフト下でテスト損失のCDFにおいてSGDを顕著に上回り、尾部エラーが低くなる。
• 低所得者サンプルの80%が削除されたAdultデータセットにおいて、特にκ = 0.8の高ロバストネス水準で、STSはバンドイットミラー降下（BMD）よりも優れたテスト損失CDFを達成する。
• 訓練データが汚染されていない状況では、STSはSGDと同等またはわずかに劣る性能を示し、ロバストネスペナルティが分布シフトが生じる場合にのみ有効であることを確認する。
• 本手法は、計算コストの著しい増加なしに、パラメータκを用いてロバストネスを効果的に制御可能である。