[논문 리뷰] Dynamic Regret of Strongly Adaptive Methods

Lijun Zhang, Tianbao Yang외 2명|arXiv (Cornell University)|2017. 01. 26.

Advanced Bandit Algorithms Research인용 수 37

한 줄 요약

이 논문은 강한 적응형 오차와 동적 오차 사이의 이론적 연결을 수립하여, 동적 오차가 적응형 오차와 기능적 변동성으로 상한을 제공할 수 있음을 보여준다. 볼록, 지수적으로 오목한, 강하게 볼록한 함수에 대해 기능적 변동성에 대한 사전 지식이 없이도 최소화된 최적의 동적 오차 경계를 달성하는 새로운 적응형 알고리즘을 제안하며, 동적 오차 분석에 지수적 오목성의 사용을 처음으로 시도한다.

ABSTRACT

To cope with changing environments, recent developments in online learning have introduced the concepts of adaptive regret and dynamic regret independently. In this paper, we illustrate an intrinsic connection between these two concepts by showing that the dynamic regret can be expressed in terms of the adaptive regret and the functional variation. This observation implies that strongly adaptive algorithms can be directly leveraged to minimize the dynamic regret. As a result, we present a series of strongly adaptive algorithms that have small dynamic regrets for convex functions, exponentially concave functions, and strongly convex functions, respectively. To the best of our knowledge, this is the first time that exponential concavity is utilized to upper bound the dynamic regret. Moreover, all of those adaptive algorithms do not need any prior knowledge of the functional variation, which is a significant advantage over previous specialized methods for minimizing dynamic regret.

연구 동기 및 목표

• 온라인 볼록 최적화에서 적응형 오차와 동적 오차 사이의 이론적 관계를 수립하는 것.
• 기능적 변동성에 대한 사전 지식이 필요 없이 동적 오차를 최소화하는 알고리즘을 개발하는 것.
• 지수적 오목성을 동적 오차 분석에 처음으로 적용하는 것.
• 볼록, 지수적으로 오목한, 강하게 볼록한 함수에 대해 최소화된 최적의 동적 오차 경계를 달성하는 것.

제안 방법

• 기능적 변동성과 강한 적응형 오차를 바탕으로 동적 오차의 일반적인 상한을 유도한다.
• Jun 등 (2017)의 강한 적응형 알고리즘을 볼록 함수에 적용하여 동적 오차를 $ O(T^{2/3}V_T^{1/3}\text{polylog}(T)) $ 수준으로 달성한다.
• 회귀적 지수 변환을 사용하여 오차와 계산 비용 간의 트레이드오프를 제어하는 새로운 적응형 알고리즘을 지수적으로 오목한 함수에 제안한다.
• 강한 볼록 함수에 대해 적응형에서 동적 오차로의 변환 기법을 적용하여 $ O(\text{polylog}(T)\times\text{poly}(T,V_T)) $ 수준의 동적 오차를 달성한다.
• 기능적 변동성 $ V_T = \sum_{t=2}^T \max_{\mathbf{w}} |f_t(\mathbf{w}) - f_{t-1}(\mathbf{w})| $ 를 정규화 척도로 사용하여 동적 오차를 상한한다.
• 재시작 메커니즘과 기저-$K$ 간격 분해를 사용하여 가변 길이 간격 동안 오차를 관리한다.

실험 결과

연구 질문

• RQ1 강한 적응형 오차를 일반적으로 사용하여 동적 오차를 상한으로 제시할 수 있는가?
• RQ2 기능적 변동성에 대한 사전 지식 없이도 적응형 알고리즘을 활용해 비선형 동적 오차를 달성할 수 있는가?
• RQ3 지수적 오목성이 온라인 학습에서 더 날카운 동적 오차 경계 유도에 유용한가?
• RQ4 제안된 방법이 볼록, 지수적 오목, 강하게 볼록한 함수에 대해 최소화된 최적의 동적 오차를 달성할 수 있는가?

주요 결과

• 동적 오차는 강한 적응형 오차와 기능적 변동성의 합으로 상한이 되며, 이는 두 개념 간의 일반적인 이론적 연결을 수립한다.
• 볼록 함수의 경우, 변형된 알고리즘의 동적 오차는 $ O(T^{2/3}V_T^{1/3}\log^{1/3}T) $ 이며, 다항로그 인자 외에는 최소화된 최적 비율을 충족한다.
• 지수적으로 오목한 함수의 경우, 제안된 알고리즘이 $ O(d\sqrt{TV_T\log T}) $ 수준의 동적 오차를 달성한다. 여기서 $ d $ 는 차원이며, 이는 동적 오차 분석에 지수적 오목성을 처음으로 적용한 사례이다.
• 강하게 볼록한 함수의 경우, 동적 오차는 $ O(\sqrt{TV_T\log T}) $ 이며, 다항로그 인자 외에는 최소화된 최적이다.
• 모든 제안된 알고리즘은 $ V_T $ 의 사전 지식이 필요하지 않으며, 이는 이전 방법이 이러한 경계에 의존하는 것과 비교해 큰 장점이다.
• 이론적 프레임워크는 적응형 오차를 구축 요소로 사용하여 다양한 함수 클래스에서 동적 오차를 통합적으로 최소화하는 데 기여한다.