[논문 리뷰] Dynamic Regret of Convex and Smooth Functions

Peng Zhao, Yujie Zhang외 2명|arXiv (Cornell University)|2020. 07. 07.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 11

한 줄 요약

이 논문은 볼록이고 부드러운 함수를 위한 새로운 온라인 학습 알고리즘인 Sword를 제안한다. 이 알고리즘은 비교자 시퀀스의 기울기 변화와 누적 손실을 활용하여 적응형 동적 리그레트 경계를 달성한다. 기존의 최상위 성능인 $\mathcal{O}(\sqrt{T(1+P_T)})$ 리그레트를 개선하기 위해 $T$에 대한 의존성을 문제에 따라 정의된 양으로 대체함으로써, 유리한 환경에서는 더 날카운 리그레트 경계를 달성하면서도 최악의 경우 최적성을 유지한다.

ABSTRACT

We investigate online convex optimization in non-stationary environments and choose the dynamic regret as the performance measure, defined as the difference between cumulative loss incurred by the online algorithm and that of any feasible comparator sequence. Let $T$ be the time horizon and $P_T$ be the path-length that essentially reflects the non-stationarity of environments, the state-of-the-art dynamic regret is $\mathcal{O}(\sqrt{T(1+P_T)})$. Although this bound is proved to be minimax optimal for convex functions, in this paper, we demonstrate that it is possible to further enhance the dynamic regret by exploiting the smoothness condition. Specifically, we propose novel online algorithms that are capable of leveraging smoothness and replace the dependence on $T$ in the dynamic regret by problem-dependent quantities: the variation in gradients of loss functions, the cumulative loss of the comparator sequence, and the minimum of the previous two terms. These quantities are at most $\mathcal{O}(T)$ while could be much smaller in benign environments. Therefore, our results are adaptive to the intrinsic difficulty of the problem, since the bounds are tighter than existing results for easy problems and meanwhile guarantee the same rate in the worst case.

연구 동기 및 목표

• 비정상적인 환경에서 정적 및 최악의 경우 동적 리그레트의 한계를 해결하기 위해.
• 최악의 시간 범위 $T$에 의존하지 않고 문제의 내재된 특성에 따라 의존하는 적응형 동적 리그레트 경계를 개발하기 위해.
• 손실 함수의 부드러움을 활용하여 최소최대 최적의 $\mathcal{O}(\sqrt{T(1+P_T)})$ 속도를 초월하는 리그레트 경계를 정교화하기 위해.
• 유리한(유리한) 환경에서 더 날카운 리그레트 보장을 달성하면서도 최악의 경우 성능을 유지하기 위해.

제안 방법

• 문제에 따라 정의된 양에 적응하는 알고리즘 가족인 Sword를 제안한다. 이는 Sword$_{\text{var}}$, Sword$_{\text{small}}$, Sword$_{\text{best}}$의 세 가지 알고리즘으로 구성된다.
• 함수 변화의 척도로 기울기 변화 $V_T = \sum_{t=2}^T \sup_{\mathbf{x} \in \mathcal{X}} \|\nabla f_{t-1}(\mathbf{x}) - \nabla f_t(\mathbf{x})\|_2^2$ 를 사용한다.
• 문제에 따라 정의된 항으로 누적 비교자 손실 $F_T = \sum_{t=1}^T f_t(\mathbf{u}_t)$ 를 도입하여 리그레트 경계를 정교화한다.
• 부드러운 함수의 자기유 bounds 성질을 활용한다: $\|\nabla f(\mathbf{x})\|_2 \leq \sqrt{4L f(\mathbf{x})}$, 이는 기울기 항을 제어하는 데 핵심적이다.
• 문제에 따라 정의된 양에 기반한 적응형 스텝 크기와 투영을 포함한 수정된 온라인 기울기 하강법을 적용한다.
• Bregman 발산과 강한 볼록성의 조합을 통한 새로운 분석 프레임워크를 활용하여 리그레트 경계를 유도하며, 부등식 조작을 위해 레마 5와 레마 6를 활용한다.

실험 결과

연구 질문

• RQ1 손실 함수의 부드러움을 활용하여 최소최대 최적의 $\mathcal{O}(\sqrt{T(1+P_T)})$ 속도를 초월하는 더 날카운 동적 리그레트 경계를 달성할 수 있는가?
• RQ2 기울기 변화 $V_T$ 와 누적 비교자 손실 $F_T$ 는 어떻게 사용하여 적응형 리그레트 경계를 구성할 수 있는가?
• RQ3 기울기 변화 및 소규모 손실 경계를 동시에 달성할 수 있는 알고리즘을 설계할 수 있는가?
• RQ4 리그레트 경계를 $\min(V_T, F_T)$ 를 포함한 형태로 표현하여 '양쪽 세계의 최고' 보장을 달성할 수 있는가?
• RQ5 제안된 알고리즘이 유리한 환경에서 성능을 향상시키면서도 최악의 경우 최적성을 유지하는가?

주요 결과

• Sword$_{\text{var}}$ 는 $\mathcal{O}(\sqrt{(1+P_T+V_T)(1+P_T)})$ 의 동적 리그레트 경계를 달성하며, $V_T \ll T$ 일 경우 $\mathcal{O}(\sqrt{T(1+P_T)})$ 보다 개선된다.
• Sword$_{\text{small}}$ 는 $\mathcal{O}(\sqrt{(1+P_T+F_T)(1+P_T)})$ 의 소규모 손실 경계를 달성하며, $F_T$ 가 작을 경우 더 날카운다.
• Sword$_{\text{best}}$ 는 $\mathcal{O}(\sqrt{(1+P_T+\min(V_T, F_T))(1+P_T)})$ 의 '양쪽 세계의 최고' 경계를 달성하여 이전 두 경계의 장점을 통합한다.
• 모든 세 가지 버전은 $V_T$ 또는 $F_T$ 가 $\mathcal{O}(T)$ 의 비율로 증가할 경우 최악의 경우 속도 $\mathcal{O}(\sqrt{T(1+P_T)})$ 를 유지하여 강건성을 확보한다.
• 문제가 쉬운 경우, $V_T$ 와 $F_T$ 는 범위 $T$ 보다 훨씬 작을 수 있으므로, 최신 기술보다 엄격히 날카운 경계를 달성한다.
• 분석은 부드러운 함수의 자기유 bounds 성질과 레마 5 및 레마 6를 활용한 새로운 부등식에 기반하여 리그레트 분해에서 기울기 및 손실 항을 제어한다.