[논문 리뷰] Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses

Yihan Zhou, Victor Sanches Portella외 2명|arXiv (Cornell University)|2020. 10. 22.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 7

한 줄 요약

이 논문은 상대적 리프시츠 연속성과 상대적 강凸성 하에서 온라인 볼록 최적화에 대한 처음으로 하위선형 복귀 경계를 확립하며, 전통적인 FTRL 및 OMD 알고리즘을 일반화된 설정으로 확장한다. 상대적 리프시츠 손실에 대해 $O(\sqrt{T})$ 복귀 경계를 증명하고, 상대적 강凸성 손실에 대해 $O(\log T)$ 복귀 경계를 도출하며, 복합 목표 함수와 정규화를 포함한 응용도 다룬다.

ABSTRACT

In online convex optimization (OCO), Lipschitz continuity of the functions is commonly assumed in order to obtain sublinear regret. Moreover, many algorithms have only logarithmic regret when these functions are also strongly convex. Recently, researchers from convex optimization proposed the notions of "relative Lipschitz continuity" and "relative strong convexity". Both of the notions are generalizations of their classical counterparts. It has been shown that subgradient methods in the relative setting have performance analogous to their performance in the classical setting. In this work, we consider OCO for relative Lipschitz and relative strongly convex functions. We extend the known regret bounds for classical OCO algorithms to the relative setting. Specifically, we show regret bounds for the follow the regularized leader algorithms and a variant of online mirror descent. Due to the generality of these methods, these results yield regret bounds for a wide variety of OCO algorithms. Furthermore, we further extend the results to algorithms with extra regularization such as regularized dual averaging.

연구 동기 및 목표

• 온라인 볼록 최적화의 전통적 복귀 경계를 상대적 리프시츠 연속성 및 상대적 강凸성 설정으로 확장하기 위해.
• 완화된 연속성 가정 하에서 FTRL 및 온라인 미러 강하의 변종(DS-OMD)의 성능을 분석하기 위해.
• 스pars티를 위한 $\ell_1$-정규화와 같은 복합 손실 함수에 대한 복귀 경계를 유도하기 위해.
• 전통적 리프시츠 연속성 가정 없이도 기본적인 OCO 알고리즘이 유리한 수렴 속도를 유지하는지 보여주기 위해.
• 상대적 강凸성 하에서 OMD 및 FTRL이 로그 복귀 경계를 달성하는지에 대한 이해 격차를 메우기 위해.

제안 방법

• Bregman 발산과 기준 함수 $\Phi$ 를 사용하여 상대적 리프시츠 연속성의 개념을 도입하고 체계화하기 위해.
• 정규화 함수 $\Psi$ 와 Bregman 투영을 통합한 follow-the-regularized-leader (FTRL) 프레임워크를 적응적으로 수정하기 위해.
• Bregman 발산에 대한 일반화된 삼점 항등식을 사용하여 복귀 경계를 Bregman 발산 및 정규화 항의 조합으로 bound하기 위해.
• Bregman 발산 항과 정규화 항 간의 트레이드오프를 균형 잡기 위해 단계 크기 스케줄 $\eta_t = \sqrt{K}/(L\sqrt{t})$ 를 적용하기 위해.
• 정 stabilizing 계수 $\gamma_t = \eta_{t+1}/\eta_t$ 를 통합하여 이중 안정화 OMD(DS-OMD)로 분석을 확장하기 위해.
• 손실 함수를 상대적 리프시츠 함수와 볼록 정규화자 $\Psi$ 의 합으로 간주함으로써 복합 복귀 경계를 도출하기 위해.

실험 결과

연구 질문

• RQ1 FTRL은 전통적 리프시츠 가정 없이 상대적 리프시츠 연속성 하에서 $O(\sqrt{T})$ 복귀 경계를 달성할 수 있는가?
• RQ2 Bregman 발산 의미에서의 상대적 강凸성은 온라인 설정에서 $O(\log T)$ 복귀 경계를 이끌어내는가?
• RQ3 복합 목표 함수, 예를 들어 $\ell_1$-노름 또는 기타 정규화자를 포함할 경우 복귀 경계를 확장할 수 있는가?
• RQ4 상대적 부드러움과 상대적 볼록성 하에서 FTRL 및 DS-OMD는 전통적 설정과 비교해 어떻게 성능을 내는가?
• RQ5 정규화된 이중 평균(RDA)과 같은 다른 OCO 알고리즘으로 분석을 일반화할 수 있는가?

주요 결과

• 논문은 Bregman 발산에 대해 상대적 리프시츠 연속성을 만족하는 손실 함수에 대해 FTRL 및 DS-OMD에 대해 $O(\sqrt{T})$ 복귀 경계를 확립한다.
• 손실 함수가 동시에 상대적으로 강凸적일 경우 동일한 알고리즘에 대해 $O(\log T)$ 복귀 경계를 증명하며, 이는 전통적 결과를 상대적 설정으로 확장한다.
• 단계 크기 $\eta_t = \sqrt{K}/(L\sqrt{t})$ 에 대해 복귀 경계는 $\operatorname{Regret}_{T}^\Psi(z) \leq 2L\sqrt{K(T+1)}$ 를 만족하며, 여기서 $K \geq D_\Phi(z,x_1)$ 이다.
• 정규화자 $\Psi$ 를 복귀 분해에 통합함으로써 복합 목표 함수, 예를 들어 $\ell_1$-정규화를 포함한 경우에도 분석이 적용된다.
• 정규화된 이중 평균(RDA) 및 네스테로프의 이중 평균과 같은 다른 OCO 알고리즘으로의 확장은 감소를 통해 가능해진다.
• 기존의 리프시츠 연속성 가정 없이도 수렴 속도 분석이 가능하게 하여 온라인 학습 알고리즘의 적용 범위를 넓힌다.