[논문 리뷰] Optimization, Learning, and Games with Predictable Sequences

Sasha Rakhlin, Karthik Sridharan|arXiv (Cornell University)|2013. 12. 05.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 118

한 줄 요약

이 논문은 예측 가능한 수열을 활용하여 0-합 게임에서 최소최대 균형으로 수렴하는 속도 O((log T)/T)를 달성하는 온라인 학습 알고리즘인 Optimistic Mirror Descent를 소개한다. 이 알고리즘은 Mirror Prox를 헬더-스무쓰 함수로 확장하고, 부분 정보 학습을 가능하게 하며, 볼록 프로그래밍을 통한 근사 최대 유량 문제를 위한 단순한 알고리즘을 제공한다.

ABSTRACT

We provide several applications of Optimistic Mirror Descent, an online learning algorithm based on the idea of predictable sequences. First, we recover the Mirror Prox algorithm for offline optimization, prove an extension to Holder-smooth functions, and apply the results to saddle-point type problems. Next, we prove that a version of Optimistic Mirror Descent (which has a close relation to the Exponential Weights algorithm) can be used by two strongly-uncoupled players in a finite zero-sum matrix game to converge to the minimax equilibrium at the rate of O((log T)/T). This addresses a question of Daskalakis et al [6]. Further, we consider a partial information version of the problem. We then apply the results to convex programming and exhibit a simple algorithm for the approximate Max Flow problem.

연구 동기 및 목표

• 예측 가능한 수열 기반의 온라인 학습 알고리즘 개발을 통해 최적화 및 게임 이론적 응용을 위한 기초를 마련한다.
• 기본적으로 리프시츠 연속 함수 외의 헬더-스무쓰 함수로도 적용 가능한 오프라인 최적화를 위한 Mirror Prox 알고리즘의 복구 및 확장.
• 강하게 분리된 플레이어 다이내믹스 하에서 유한한 0-합 행렬 게임에서 Optimistic Mirror Descent의 최소최대 균형 수렴을 입증한다.
• Daskalakis 등이 제기한, 이러한 게임에서 수렴 속도에 대한 열린 문제를 해결한다.
• 프레임워크를 볼록 프로그래밍 및 부분 정보 하에서의 근사 최대 유량 문제에 적용한다.

제안 방법

• 예측 가능한 수열 예측을 통합하여 수렴을 향상시키는 온라인 학습 알고리즘인 Optimistic Mirror Descent를 사용한다.
• 예측 가능한 수열의 구조를 활용하여 오프라인 최적화에서 Mirror Prox를 복원한다.
• 분석에서 부드러움 조건을 확장하여 헬더-스무쓰 함수를 다룰 수 있도록 방법을 적응시킨다.
• O((log T)/T) 수렴 속도를 갖는 Optimistic Mirror Descent의 변형을 통해 0-합 게임에서 최소최대 균형으로의 수렴을 확립한다.
• 제한된 피드백 환경을 다룰 수 있도록 알고리즘의 부분 정보 버전을 개발한다.
• 최대 유량 문제를 사다리꼴 문제로 환원함으로써 볼록 프로그래밍에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 Optimistic Mirror Descent는 강하게 분리된 플레이어가 있는 0-합 게임에서 O((log T)/T) 수렴 속도를 달성할 수 있는가?
• RQ2 Mirror Prox는 표준 리프시츠 연속성 외의 헬더-스무쓰 함수로 어떻게 확장할 수 있는가?
• RQ3 예측 가능한 수열은 온라인 및 오프라인 최적화에서 수렴을 향상시키는 데 어떤 역할을 하는가?
• RQ4 수렴 보장을 유지하면서 알고리즘을 부분 정보 환경에 적응시킬 수 있는가?
• RQ5 이 프레임워크를 사용하여 볼록 프로그래밍에서 근사 최대 유량 문제를 위한 단순하고 효율적인 알고리즘을 설계할 수 있는가?

주요 결과

• Optimistic Mirror Descent는 강하게 분리된 플레이어가 있는 유한한 0-합 행렬 게임에서 최소최대 균형으로 O((log T)/T) 수렴 속도를 달성한다.
• 논문은 Mirror Prox 알고리즘을 헬더-스무쓰 함수로 확장하여 더 넓은 범위의 사다리꼴 문제에 적용 가능성을 넓힌다.
• Daskalakis 등이 제기한, 분리된 플레이어 설정에서의 수렴 속도에 대한 열린 문제를 해결한다.
• 제한된 피드백 환경을 다룰 수 있도록 부분 정보 버전의 알고리즘을 개발한다.
• 제안된 프레임워크를 활용하여 최대 유량 문제를 볼록 프로그래밍 문제로 환원함으로써 근사 최대 유량 문제를 위한 단순한 알고리즘을 유도한다.
• 이론적 결과는 예측 가능한 수열의 사용에 기반하며, 이는 온라인 학습 다이내믹스의 수렴 성질을 향상시킨다.