[논문 리뷰] Dual Adaptivity: A Universal Algorithm for Minimizing the Adaptive Regret of Convex Functions

Lijun Zhang, Guanghui Wang외 2명|arXiv (Cornell University)|2019. 06. 26.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 7

한 줄 요약

이 논문은 일반적인 볼록 함수, 지수적으로 볼록한 함수, 강하게 볼록한 함수에 대해 함수 성질에 대한 사전 지식 없이도 최적의 적응형 회귀 한계를 달성하는 새로운 온라인 볼록 최적화 알고리즘인 UMA(Universal Algorithm for Minimizing Adaptive Regret)를 소개한다. MetaGrad에서 영감을 얻은 다중 학습률 적응 기법과 수면 중 전문가(sleeping experts) 기법을 결합함으로써, UMA는 함수 유형과 환경 변화에 자동으로 적응하며 각각 $O(\sqrt{\tau\log T})$, $O(\frac{d}{\alpha}\log\tau\log T)$, $O(\frac{1}{\lambda}\log\tau\log T)$의 회귀 한계를 달성한다.

ABSTRACT

To deal with changing environments, a new performance measure -- adaptive regret, defined as the maximum static regret over any interval, was proposed in online learning. Under the setting of online convex optimization, several algorithms have been successfully developed to minimize the adaptive regret. However, existing algorithms lack universality in the sense that they can only handle one type of convex functions and need apriori knowledge of parameters. By contrast, there exist universal algorithms, such as MetaGrad, that attain optimal static regret for multiple types of convex functions simultaneously. Along this line of research, this paper presents the first universal algorithm for minimizing the adaptive regret of convex functions. Specifically, we borrow the idea of maintaining multiple learning rates in MetaGrad to handle the uncertainty of functions, and utilize the technique of sleeping experts to capture changing environments. In this way, our algorithm automatically adapts to the property of functions (convex, exponentially concave, or strongly convex), as well as the nature of environments (stationary or changing). As a by product, it also allows the type of functions to switch between rounds.

연구 동기 및 목표

• 기존 적응형 회귀 알고리즘들이 강하게 볼록성 또는 지수-볼록성 모듈러스 등의 함수 매개변수를 사전에 알고 있어야 하는 한계를 해결하기 위해.
• 일반 볼록 함수, 지수-볼록 함수, 강하게 볼록 함수와 같은 다양한 유형의 볼록 함수와 변화하는 환경에 동시에 적응하는 단일 알고리즘을 개발하기 위해.
• 함수 성질에 대한 사전 지식 없이도 모든 함수 유형에서 최적의 적응형 회귀 한계를 달성하기 위해.
• 온라인 학습 중 함수 유형 전환이 발생할 수 있도록 지원하면서도, 이질적인 함수 시퀀스 전반에서 뛰어난 성능을 유지하기 위해.

제안 방법

• MetaGrad에서 영감을 얻은 다중 학습률을 활용하여 함수 유형에 대한 불확실성을 다루고 최적의 학습률를 자동으로 선택한다.
• 수면 중 전문가 프레임워크를 도입하여 시간 간격 동안 여러 전문가를 유지함으로써 임의의 시간 간격에서 낮은 회귀를 달성한다.
• 적응형 가중치와 지수 손실 최소화를 통해 전문가를 동적으로 조합하고 간격 전반에서 낮은 회귀를 유지한다.
• 함수 구조(볼록성 유형)와 환경 역학(정적 대비 변화하는 환경)에 동시에 적응하는 이중 적응 메커니즘을 도입한다.
• 전문가-회귀 분석을 통한 두 번째 차수의 회귀 한계를 적용하여 다양한 함수 클래스에서 날카운 성능 보장을 유도한다.
• 관측된 함수 행동에 기반해 전문가 및 학습률 구성 요소를 동적으로 조정함으로써 학습 중 함수 유형 전환을 지원한다.

실험 결과

연구 질문

• RQ1 함수 매개변수에 대한 사전 지식 없이도 여러 유형의 볼록 함수에 대해 최적의 적응형 회귀를 달성할 수 있는 단일 알고리즘이 존재할 수 있는가?
• RQ2 손실 함수의 구조적 성질과 변화하는 환경의 역학에 동시에 적응할 수 있는 알고리즘은 어떻게 설계할 수 있는가?
• RQ3 함수 유형(예: 일반, 지수-볼록, 강하게 볼록)이 시간이 지남에 따라 변화할 경우, 유니버설 알고리즘의 성능 보장은 어떻게 되는가?
• RQ4 다중 학습률 적응과 수면 중 전문가의 조합이 기존의 전문화된 알고리즘보다 더 날카운 회귀 한계를 제공할 수 있는가?
• RQ5 재구성 없이도 길이가 다른 간격과 다양한 함수 유형에서 최적의 적응형 회귀 한계를 유지할 수 있는가?

주요 결과

• UMA는 일반 볼록 함수에 대해 $O(\sqrt{\tau\log T})$의 강력한 적응형 회귀를 달성하며, 이는 현재 최고 수준의 한계와 일치한다.
• $\alpha$-지수-볼록 함수의 경우, UMA는 $O(\frac{d}{\alpha}\log\tau\log T)$의 회귀를 달성하며, 이는 알려진 최고의 결과와 일치한다.
• $\lambda$-강하게 볼록 함수의 경우, UMA는 $O(\frac{1}{\lambda}\log\tau\log T)$의 회귀를 달성하며, 이는 최적이다.
• 함수 유형이 간격 간에 전환될 경우(예: 일반 → 지수-볼록 → 강하게 볼록), UMA는 자동으로 적응하여 각 세그먼트에 대해 해당 최적의 회귀 한계를 달성한다.
• 알고리즘은 $O(\log T)$의 시간 간격 $T$에 대한 의존성과 $O(\log \tau)$의 간격 길이 $\tau$에 대한 의존성을 유지하며, 확장성을 보장한다.
• UMA는 사전 지식 없이도 모든 세 가지 주요 볼록 함수 클래스에서 동시에 적응형 회귀를 최소화하는 최초의 유니버설 알고리즘이다.