[논문 리뷰] Online Non-Convex Learning: Following the Perturbed Leader is Optimal

Arun Sai Suggala, Praneeth Netrapalli|arXiv (Cornell University)|2019. 03. 19.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 7

한 줄 요약

이 논문은 온라인 비볼록 학습에서 오프라인 최적화 오라클을 이용할 때, Follow the Perturbed Leader (FTPL) 알고리즘이 최적의 $O(T^{-1/2})$ 오해율을 달성함을 입증한다. 이는 이전의 $O(T^{-1/3})$ 상한보다 향상된 결과이다. 또한 예측 가능한 손실 시퀀스를 활용하여 더 나은 오해율 상한을 달성하는, FTPL의 유능한 변형을 도입한다.

ABSTRACT

We study the problem of online learning with non-convex losses, where the learner has access to an offline optimization oracle. We show that the classical Follow the Perturbed Leader (FTPL) algorithm achieves optimal regret rate of $O(T^{-1/2})$ in this setting. This improves upon the previous best-known regret rate of $O(T^{-1/3})$ for FTPL. We further show that an optimistic variant of FTPL achieves better regret bounds when the sequence of losses encountered by the learner is `predictable'.

연구 동기 및 목표

• 비볼록 손실이 존재하는 온라인 비볼록 학습에서, 가장 잘 알려진 오해율 상한과 이론적 하한 사이의 격차를 좁히기.
• 기본적인 FTPL 알고리즘이 립시츠 연속 비볼록 손실과 오프라인 최적화 오라클에 접근할 수 있을 때, 최적의 $O(T^{-1/2})$ 오해율 상한을 달성함을 보여주기.
• 예측 가능한 손실 시퀀스를 활용하여 구조화된 조건 하에서 더 나은 오해율 상한을 달성하기 위해 FTPL를 확장하는 유능한 변형을 제안하기.
• 비볼록 설정에서 FTPL 성능에 영향을 주는 편향과 근사 오차의 역할을 체계화하고 분석하기.

제안 방법

• 논문은 오차가 유한한 $(\alpha, \beta)$-근사 오프라인 최적화 오라클을 사용하여 표준 FTPL 알고리즘을 분석한다. 이 오라클은 $f(\mathbf{x}) - \langle \sigma, \mathbf{x} \rangle$의 최소화자를 반환한다.
• 행동 선택의 탐색과 안정성을 보장하기 위해, 독립적인 지수 분포 편향 $\sigma_t \sim \text{Exp}(\eta)$를 사용한다.
• 분석은 단조성과 편향 민감도 보조정을 활용하여 연속된 예측 간의 차이 $\|\mathbf{x}_t - \bar{\mathbf{x}}_{t+1}\|_1$ 의 $\ell_1$-노름을 제한하는 데 기반한다.
• 핵심 기술 도구로는 손실 함수의 리프시츠 연속성과, 편향 벡터의 변화와 최소화자 변화 간의 관계를 연결하기 위한 새로운 편향 기반 추론을 포함한다.
• 예측 가능한 손실에 대해서는, 다음 손실을 예측하여 의사결정 과정을 개선하는, 유능한 FTPL(OFTPL) 변형을 도입한다.
• 근사 오차 $\gamma(\sigma) = \alpha + \beta\|\sigma\|_1$ 를 고려한 농도적 추론과 재귀 부등식을 사용하여 이론적 상한을 유도한다.

실험 결과

연구 질문

• RQ1 기본적인 FTPL 알고리즘이 오프라인 오라클을 갖춘 온라인 비볼록 학습에서 최적의 $O(T^{-1/2})$ 오해율 상한을 달성할 수 있는가?
• RQ2 FTPL의 성능은 비볼록 손실 하에서 열화되는가? 만약 그렇다면, 편향과 오라클 설계를 통해 이를 완화할 수 있는가?
• RQ3 손실 시퀀스가 예측 가능하거나 구조적 특성을 띠는 경우, 오해율 상한을 추가로 향상시킬 수 있는가?
• RQ4 비볼록 설정에서 FTPL의 수렴성과 안정성에 영향을 주는 근사 오차 $\alpha + \beta\|\sigma\|_1$ 의 역할은 무엇인가?

주요 결과

• $(\alpha, \beta)$-근사 오프라인 최적화 오라클을 사용할 때, 비볼록이고 $L$-리프시츠 연속 손실 함수에 대해 FTPL 알고리즘이 최적의 오해율 상한 $O(T^{-1/2})$ 를 달성한다.
• 이것은 동일한 설정에서 이전까지 알려진 최선의 오해율 상한인 $O(T^{-1/3})$ 보다 향상된 결과이며, 이론적 하한에 가까워졌다.
• 손실 시퀀스가 예측 가능할 경우, 유능한 FTPL(OFTPL) 변형이 더 나은 오해율 상한을 달성하며, 향후 손실 정보를 활용하여 의사결정 과정을 개선한다.
• 분석을 통해, 편향에 의한 안정성과 유한한 근사 오차가 최적의 오해율 상한 달성에 충분함을 입증한다.
• 논문은 연속된 행동 간의 차이의 $\ell_1$-노름이 편향 민감도와 최소화자의 단조성 성질을 통해 엄격하게 제어됨을 증명한다.