[論文レビュー] Generalization Bounds for Stochastic Saddle Point Problems

Junyu Zhang, Mingyi Hong+2 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Bandit Algorithms Research参考文献 40被引用数 6

ひとこと要約

本稿は、Lipschitz連続性および強い凸性・強い凹性の条件下で、一様安定性を用いて確率的サドルポイント（SSP）問題における経験的サドルポイント（ESP）解の一般化境界を確立し、O(1/n)の境界を証明する。強い凸性・強い凹性が成り立たない場合や有界でない定義域に対しても拡張され、バッチ方策学習およびナッシュ均衡推定において、近似的に最適な標本複雑性を示している。

ABSTRACT

This paper studies the generalization bounds for the empirical saddle point (ESP) solution to stochastic saddle point (SSP) problems. For SSP with Lipschitz continuous and strongly convex-strongly concave objective functions, we establish an $\mathcal{O}(1/n)$ generalization bound by using a uniform stability argument. We also provide generalization bounds under a variety of assumptions, including the cases without strong convexity and without bounded domains. We illustrate our results in two examples: batch policy learning in Markov decision process, and mixed strategy Nash equilibrium estimation for stochastic games. In each of these examples, we show that a regularized ESP solution enjoys a near-optimal sample complexity. To the best of our knowledge, this is the first set of results on the generalization theory of ESP.

研究の動機と目的

• 確率的サドルポイント（SSP）問題における経験的サドルポイント（ESP）解の有限標本一般化理論を構築すること。
• 強い凸性・強い凹性の仮定から、より緩い仮定までを含めたさまざまな条件下でのESP解の一般化誤差を分析すること。
• マルコフ決定過程におけるバッチ方策学習や混合戦略ナッシュ均衡推定といった実践的機械学習問題への一般化境界の適用を示すこと。
• 確率的ゲームおよび複合最適化における正則化ESP解の標本複雑性保証を確立すること。

提案手法

• 一様安定性の議論を用いて、SSP問題におけるESP解の一般化境界を導出する。
• ESP解が真のSSP解からどれほど逸脱しているかを測るため、弱一般化誤差と強一般化誤差の両方を分析する。
• 確率的標本の存在下での経験的推定の分散を制御するため、集中不等式とモーメントの境界を適用する。
• 目的関数のリプシッツ連続性および強い凸性・強い凹性の性質を用いて、ESP解の期待損失の境界を導出する。
• 強い凸性が成り立たない設定でも安定性と標本効率を保証するため、正則化されたESP定式化を検討する。
• 2つの事例研究を通じて理論的境界を検証する：MDPにおけるバッチ方策学習と確率的ゲームにおける混合戦略ナッシュ均衡推定。

実験結果

リサーチクエスチョン

• RQ1 確率的サドルポイント問題における経験的サドルポイント解の有限標本一般化誤差は何か？
• RQ2 強い凸性や有界領域の仮定が成り立たない場合、一般化境界はどのように振る舞うか？
• RQ3 一般化境界は、MDPにおけるバッチ方策学習といった実践的問題に応用可能か？
• RQ4 確率的ゲームにおける正則化ESP解の標本複雑性は何か？
• RQ5 弱一般化誤差と強一般化誤差は、ESP解の品質を捉える上でどのように比較できるか？

主な発見

• 本稿は、一様安定性を用いて、リプシッツ連続性および強い凸性・強い凹性の下で、ESP解に対してO(1/n)の一般化境界を確立した。
• 強い凸性が成り立たない場合や有界領域でない場合にも一般化境界を拡張し、適用範囲を広げた。
• MDPにおけるバッチ方策学習では、正則化ESP解が近似的に最適な標本複雑性を達成した。
• 確率的行列ゲームにおいても、混合戦略ナッシュ均衡推定の正則化ESP解は、近似的に最適な標本複雑性を達成した。
• 理論的境界は事例研究を通じて検証され、強化学習およびゲーム理論におけるタイトさと実用的関連性を示した。
• MDPの状況では、ESP解の期待損失がO(τ³/|S|)で有界であることが示された。ここでτは混合時間、|S|は状態空間のサイズを表す。