[논문 리뷰] Generalization Bounds for Stochastic Saddle Point Problems

Junyu Zhang, Mingyi Hong외 2명|arXiv (Cornell University)|2020. 06. 03.

Advanced Bandit Algorithms Research참고 문헌 40인용 수 6

한 줄 요약

이 논문은 균일 안정성 기반으로 확률적 사 saddle point (SSP) 문제에서의 경험적 사 saddle point (ESP) 해법에 대한 일반화 경계를 수립하며, 리프시츠 조건과 강凸-강미분 조건 하에서 O(1/n) 경계를 증명한다. 이는 비강凸 및 유계가 아닌 도메인으로 확장되며, 배치 정책 학습과 나시 균형 추정에서 near-optimal 샘플 복잡도를 갖는 결과로 검증된다.

ABSTRACT

This paper studies the generalization bounds for the empirical saddle point (ESP) solution to stochastic saddle point (SSP) problems. For SSP with Lipschitz continuous and strongly convex-strongly concave objective functions, we establish an $\mathcal{O}(1/n)$ generalization bound by using a uniform stability argument. We also provide generalization bounds under a variety of assumptions, including the cases without strong convexity and without bounded domains. We illustrate our results in two examples: batch policy learning in Markov decision process, and mixed strategy Nash equilibrium estimation for stochastic games. In each of these examples, we show that a regularized ESP solution enjoys a near-optimal sample complexity. To the best of our knowledge, this is the first set of results on the generalization theory of ESP.

연구 동기 및 목표

• 확률적 사 saddle point (SSP) 문제에서 경험적 사 saddle point (ESP) 해법에 대한 유한 샘플 일반화 이론을 개발하는 것.
• 강凸-강미분 조건과 같은 다양한 가정 하에서 ESP 해법의 일반화 오차를 분석하는 것.
• MDP에서의 배치 정책 학습 및 혼합 전략 나시 균형 추정과 같은 실질적 기계 학습 문제에 일반화 경계의 적용 가능성을 보여주는 것.
• 스토케스틱 게임과 복합 최적화에서 정규화된 ESP 해법의 샘플 복잡도 보장을 수립하는 것.

제안 방법

• 균일 안정성 추론을 사용하여 SSP 문제에서 ESP 해법의 일반화 경계를 유도하는 것.
• 약한 및 강한 일반화 측정법을 분석하여 ESP 해법이 진정한 SSP 해법으로부터 벗어나지 않는 정도를 정량화하는 것.
• 랜덤 샘플이 존재하는 상황에서 경험적 추정치의 분산을 제어하기 위해 농도 부등식과 모멘트 경계를 적용하는 것.
• 목적 함수의 리프시츠 연속성과 강凸-강미분 조건의 성질을 이용해 ESP 해법의 기대 손실에 대한 경계를 도출하는 것.
• 비강凸 설정에서 안정성과 샘플 효율성을 보장하기 위해 정규화된 ESP 설정을 고려하는 것.
• 두 가지 사례 연구를 통해 이론적 경계를 검증하는 것: MDP에서의 배치 정책 학습과 스토케스틱 게임에서의 혼합 전략 나시 균형 추정.

실험 결과

연구 질문

• RQ1 확률적 사 saddle point 문제에서 경험적 사 saddle point 해법의 유한 샘플 일반화 오차는 무엇인가?
• RQ2 강凸 조건이나 유계 도메인의 부재와 같은 완화된 가정 하에서 일반화 경계는 어떻게 행동하는가?
• RQ3 일반화 경계는 MDP에서의 배치 정책 학습과 같은 실질적 문제에 적용될 수 있는가?
• RQ4 스토케스틱 게임에서 정규화된 ESP 해법의 샘플 복잡도는 무엇인가?
• RQ5 약한 일반화 측정법과 강한 일반화 측정법은 ESP 해법의 품질을 어떻게 비교하여 캡처하는가?

주요 결과

• 균일 안정성 기반으로 리프시츠 연속성과 강凸-강미분 조건 하에서 ESP 해법에 대해 O(1/n) 일반화 경계를 수립하였다.
• 강凸 조건이 없거나 도메인이 유계가 아닌 경우에도 일반화 경계가 확장되어 적용 범위가 넓어졌다.
• MDP에서의 배치 정책 학습에서 정규화된 ESP 해법은 near-optimal 샘플 복잡도를 달성한다.
• 스토케스틱 행렬 게임에서 혼합 전략 나시 균형 추정에 대해 정규화된 ESP 해법 역시 near-optimal 샘플 복잡도를 확보한다.
• 이론적 경계는 사례 연구를 통해 검증되었으며, 강화 학습 및 게임 이론 분야에서 타당성과 날카로움을 보였다.
• MDP의 경우, ESP 해법의 기대 손실은 τ³/|S|의 주머니로 제한되며, 여기서 τ는 혼합 시간이고 |S|는 상태 공간 크기이다.