[논문 리뷰] Improved Analysis for Dynamic Regret of Strongly Convex and Smooth Functions

Peng Zhao, Lijun Zhang|arXiv (Cornell University)|2020. 06. 10.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 12

한 줄 요약

이 논문은 강凸성과 미분 가능성 조건을 만족하는 함수를 갖는 온라인 볼록 최적화에서 동적 리그레트 최소화를 위한 온라인 다중 기울기 하강(OMGD) 알고리즘에 대한 향상된 분석을 제시한다. 보다 정교한 함수값 감쇠 보조정리(function-value decay lemma)를 도입함으로써, 저자들은 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T\})$의 더 날카운 동적 리그레트 경계를 확립하였으며, 경로 길이(path-length), 제곱 경로 길이(squared path-length), 함수 변화(function variation)를 동시에 고려하는 '세 세계의 최고' 성능 보장을 달성하였다. 이는 알고리즘을 수정하지 않고도 이전의 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T\})$ 경계보다 크게 향상된 결과이다.

ABSTRACT

In this paper, we present an improved analysis for dynamic regret of strongly convex and smooth functions. Specifically, we investigate the Online Multiple Gradient Descent (OMGD) algorithm proposed by Zhang et al. (2017). The original analysis shows that the dynamic regret of OMGD is at most $\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T\})$, where $\mathcal{P}_T$ and $\mathcal{S}_T$ are path-length and squared path-length that measures the cumulative movement of minimizers of the online functions. We demonstrate that by an improved analysis, the dynamic regret of OMGD can be improved to $\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T,\mathcal{V}_T\})$, where $\mathcal{V}_T$ is the function variation of the online functions. Note that the quantities of $\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T$ essentially reflect different aspects of environmental non-stationarity -- they are not comparable in general and are favored in different scenarios. Therefore, the dynamic regret presented in this paper actually achieves a \emph{best-of-three-worlds} guarantee and is strictly tighter than previous results.

연구 동기 및 목표

• 비정상적인 환경에서 온라인 볼록 최적화에서 동적 리그레트에 대한 OMGD 알고리즘의 이론적 분석을 향상시키는 것.
• OMGD의 동적 리그레트가 경로 길이 $\mathcal{P}_T$와 제곱 경로 길이 $\mathcal{S}_T$ 외에도 함수 변화 $\mathcal{V}_T$에 의해 유계지킬 수 있음을 보여주는 것.
• 알고리즘을 수정하지 않고도 다양한 환경의 비정상성에 적응하는 더 날카운 통합 동적 리그레트 경계를 달성하는 것.

제안 방법

• 알고리즘의 결정과 시간에 따라 변화하는 최소화자 사이의 누적 손실 차이를 더 잘 제어하기 위해 정교화된 함수값 감쇠 보조정리를 적용하는 것.
• 온라인 함수의 강凸성과 미분 가능성 성질을 활용하여 함수값 차이에 대한 더 날카운 경계를 유도하는 것.
• 세 가지 별도의 리그레트 상한 경계를 수립: 하나는 경로 길이 $\mathcal{P}_T$ 기반, 하나는 제곱 경로 길이 $\mathcal{S}_T$ 기반, 하나는 함수 변화 $\mathcal{V}_T$ 기반으로 각각 다른 분석 기법을 사용하여 유도한 것.
• 세 경계를 하나의 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T\})$ 리그레트 보장으로 통합하여, '세 세계의 최고' 성능을 반영하는 것.
• 기존 연구들(Yang 등, 2016; Zhang 등, 2017)의 결과를 기반으로 하여 개선된 분석의 핵심 구성 요소로 활용하는 것.
• 알고리즘의 원래 형태를 유지하면서도, 향상된 수학적 추론을 통해 엄밀히 더 날카운 리그레트 경계를 증명하는 것.

실험 결과

연구 질문

• RQ1 강凸성과 미분 가능성을 갖는 함수에 대해, OMGD 알고리즘의 동적 리그레트는 기존의 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T\})$ 경계를 초월하여 향상시킬 수 있는가?
• RQ2 알고리즘을 수정하지 않고도, 목적 함수의 시간에 따른 변화를 측정하는 함수 변화 $\mathcal{V}_T$를 동적 리그레트 분석에 통합할 수 있는가?
• RQ3 향상된 분석이 경로 길이 $\mathcal{P}_T$, 제곱 경로 길이 $\mathcal{S}_T$, 그리고 함수 변화 $\mathcal{V}_T$라는 세 가지 고전적 규칙성 측정치보다 동시에 더 날카운 리그레트 경계를 도출하는가?
• RQ4 함수값 감쇠 보조정리를 효과적으로 적용하여, 동적 리그레트 최소화에서 '세 세계의 최고' 보장을 달성할 수 있는가?
• RQ5 다양한 수준의 환경 비정상성 하에서, 새로운 경계는 이전 결과에 비해 얼마나 더 날카롭고 적응력이 강한가?

주요 결과

• OMGD 알고리즘의 동적 리그레트는 이전의 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T\})$ 경계보다 엄밀히 더 날카운 $\mathcal{O}(\min\{\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T\})$로 향상되었다.
• 이 향상된 경계는 경로 길이, 제곱 경로 길이, 함수 변화를 동시에 반영함으로써 '세 세계의 최고' 보장을 달성하였다.
• OMGD 알고리즘을 수정하지 않고도, 함수값 감쇠 보조정리의 정교한 적용에 의존하여 분석이 달성되었다.
• 함수 변화 항목 $\mathcal{V}_T = \sum_{t=2}^T \sup_{\mathbf{x} \in \mathcal{X}} |f_t(\mathbf{x}) - f_{t-1}(\mathbf{x})|$ 는 이 설정에서 유효하고 날카운 규칙성 측정치로 밝혀졌다.
• 경로 길이 및 제곱 경로 길이 경계는 동일한 분석 프레임워크를 사용하여 재유도되었으며, 이는 접근 방식의 일관성과 강건성을 확인한다.
• 이 결과는 특히 강凸성과 미분 가능성을 갖는 함수에 대해 비정상적인 환경에서의 온라인 학습에 대한 더 날카운 이론적 기반을 구축한다.