[논문 리뷰] Online and Bandit Algorithms for Nonstationary Stochastic Saddle-Point Optimization

Abhishek Roy, Yifang Chen외 2명|arXiv (Cornell University)|2019. 12. 03.

Advanced Bandit Algorithms Research참고 문헌 62인용 수 10

한 줄 요약

이 논문은 온라인 및 밴딧 환경에서 비정상적인 확률적 사鞍점 최적화를 위한 새로운 손실 정의를 제안하며, 강한 볼록성과 강한 준복각 조건 하에서 하한선 이하의 손실 경계를 확보하는 외거진 및 프랭크-울프 알고리즘을 제안한다. 주요 기여는 제로오더 피드백을 사용하여 $\epsilon$-최적 해에 지수 수렴 속도를 보장하는 이론적 수렴 보장을 제공하는 것이다.

ABSTRACT

Saddle-point optimization problems are an important class of optimization problems with applications to game theory, multi-agent reinforcement learning and machine learning. A majority of the rich literature available for saddle-point optimization has focused on the offline setting. In this paper, we study nonstationary versions of stochastic, smooth, strongly-convex and strongly-concave saddle-point optimization problem, in both online (or first-order) and multi-point bandit (or zeroth-order) settings. We first propose natural notions of regret for such nonstationary saddle-point optimization problems. We then analyze extragradient and Frank-Wolfe algorithms, for the unconstrained and constrained settings respectively, for the above class of nonstationary saddle-point optimization problems. We establish sub-linear regret bounds on the proposed notions of regret in both the online and bandit setting.

연구 동기 및 목표

• 비정상적인 확률적 사鞍점 최적화의 온라인 및 밴딧 환경에서 의미 있는 정적 및 동적 손실 개념을 정식화하기 위해.
• 시간에 따라 변화하는 목표 함수를 고려한 온라인 볼록 최적화 프레임워크를 사鞍점 문제로 확장하기 위해.
• 비정상성 하에서 비제약 및 제약 조건이 있는 설정에 대해 외거진 및 프랭크-울프 알고리즘을 설계하고 분석하기 위해.
• 온라인(일阶) 및 밴딧(제로오더) 피드백 환경에서 모두 하한선 이하의 손실 경계를 확립하기 위해.
• 스토캐스틱 제로오더 온라인 또는 온라인 오라클을 사용하여 $\epsilon$-최적 사鞍점으로의 지수 수렴을 달성하기 위해.

제안 방법

• 나시 균형 기준을 기반으로 한 스무딩된 정적 손실의 개념을 도입하며, 이는 시간에 따라 변화하는 함수에 적응된 것이다.
• 비제약 설정에서 적응형 스텝 사이즈 $\gamma_k = \min\{1, \frac{C_0}{4C_1}g_{k-1}\}$를 사용하는 외거진 알고리즘을 제안한다.
• 제약 조건이 있는 설정에 대해 프랭크-울프 알고리즘을 적용하며, 선형 부분문제 오라클을 활용한다.
• 제로오더 밴딧 피드백에서 기울기를 근사하기 위해 $m_k$, $v_k$를 사용하여 기울기 추정을 수행한다.
• 수렴 속도를 극복하기 위해 잠재 함수 $w_k$에 대한 재귀 부등식을 유도한다.
• 수축 인자 $\rho = 1 - \min\{\frac{C_0^2\delta_\mu^2}{8C_1}, \frac{C_0}{2}\}$를 통해 $\mathbb{E}[w_k]$의 지수 감쇠를 확립한다.

실험 결과

연구 질문

• RQ1 비정상적인 사鞍점 최적화의 온라인 및 밴딧 환경에서 의미 있는 손실 개념은 어떻게 정의할 수 있는가?
• RQ2 외거진 및 프랭크-울프 알고리즘은 비정상적이고, 스트로크스틱이며, 강한 볼록-준복각 조건이 만족되는 환경에서 하한선 이하의 손실을 달성할 수 있는가?
• RQ3 제로오더 피드백 하에서 이러한 알고리즘의 수렴 속도는 어떤 보장을 가질 수 있는가?
• RQ4 적응형 스텝 사이즈의 선택은 $\epsilon$-최적 해로의 수렴에 어떤 영향을 미치는가?
• RQ5 수렴은 기울기 추정 오차와 문제 파라미터에 대해 어떤 의존성을 가지는가?

주요 결과

• 제안된 외거진 및 프랭크-울프 알고리즘은 비정상적인 사鞍점 최적화 문제에 대해 온라인 및 밴딧 환경 모두에서 하한선 이하의 손실을 달성한다.
• 알고리즘은 $\epsilon$-최적 사鞍점으로 지수 수렴하며, 이 수렴 속도는 $\rho = 1 - \min\{\frac{C_0^2\delta_\mu^2}{8C_1}, \frac{C_0}{2}\}$에 의해 결정된다.
• 기대값은 $\mathbb{E}[w_k] \leq (1 - \rho)^T(\mathbb{E}[w_0] - \frac{1}{\rho}\max\{\mathbb{E}[T_2], \mathbb{E}[T_3]\}) + \frac{1}{\rho}\max\{\mathbb{E}[T_2], \mathbb{E}[T_3]\}$를 만족하며, 이는 지수 수렴을 의미한다.
• $\epsilon$-최적성에 도달하기 위해 스트로크스틱 제로오더 오라클과 선형 부분문제의 호출 수가 유한하게 제한된다.
• 기울기 추정 오차 $\Delta_k^{x[y]}$는 경계 내의 항 $T_2$와 $T_3$를 통해 수렴 속도에 직접적인 영향을 미친다.
• 분석을 통해 알고리즘이 시간에 따라 변화하는 목표 함수와 노이즈 있는 피드백 조건 하에서도 안정적이고 수렴 가능하다는 점을 입증한다.