[논문 리뷰] Minimizing Dynamic Regret and Adaptive Regret Simultaneously

Lijun Zhang, Shiyin Lu외 1명|arXiv (Cornell University)|2020. 02. 06.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 12

한 줄 요약

이 논문은 온라인 볼록 최적화에서 동적 회귀와 적응형 회귀를 동시에 최소화하는 두 가지 새로운 온라인 학습 알고리즘—AOD와 AOA—을 제안한다. 계층적으로 구조화된 전문가와 적응형 간격 관리 기반의 전문가 추적 프레임워크를 활용함으로써, 두 알고리즘 모두 최신 기술 수준의 경계를 달성한다: 각각 $O(\sqrt{\tau \log T})$ 적응형 회귀와 $O(\sqrt{T(1+P_T)\log T})$ 및 $O(\sqrt{T(\log T + P_T)})$ 동적 회귀를 확보하며, AOA는 추가로 임의의 간격에서 최적의 동적 회귀를 보장한다.

ABSTRACT

Regret minimization is treated as the golden rule in the traditional study of online learning. However, regret minimization algorithms tend to converge to the static optimum, thus being suboptimal for changing environments. To address this limitation, new performance measures, including dynamic regret and adaptive regret have been proposed to guide the design of online algorithms. The former one aims to minimize the global regret with respect to a sequence of changing comparators, and the latter one attempts to minimize every local regret with respect to a fixed comparator. Existing algorithms for dynamic regret and adaptive regret are developed independently, and only target one performance measure. In this paper, we bridge this gap by proposing novel online algorithms that are able to minimize the dynamic regret and adaptive regret simultaneously. In fact, our theoretical guarantee is even stronger in the sense that one algorithm is able to minimize the dynamic regret over any interval.

연구 동기 및 목표

• 기존의 온라인 학습 알고리즘이 동적 회귀 또는 적응형 회귀 중 하나의 성능 지표에만 최적화되어 있으며, 환경 변화에 적응하지 못하는 한계를 해결하기 위해.
• 동적 회귀와 적응형 회귀 간 격차를 해소하기 위해, 둘 다 동시에 최소화하는 통합된 알고리즘 프레임워크를 설계하기 위해.
• 모든 시간 간격에서 동적 회귀를 최소화할 수 있도록 보장함으로써, 전체 수명 주기뿐 아니라 더 강력한 이론적 보장을 확보하기 위해.
• 이전 연구를 향상시키기 위해 경로 길이 정규화와 로그 인자를 포함시켜, 둘 다에서 거의 최적의 성능을 달성하기 위해.

제안 방법

• 다양한 수명 주기를 가진 여러 전문가 알고리즘이 병렬로 실행되며, 메타 알고리즘이 이들의 결정을 통합하는 계층적 전문가 추적 프레임워크를 사용한다.
• AOD에서는 기반 전문가 알고리즘으로 온라인 경사 하강법(OGD)을 사용하며, 전문가 수명 주기를 관리하고 연속 실행 간의 온난 스타트를 가능하게 하기 위해 특수 설계된 간격을 적용한다.
• AOA에서는 Ader 알고리즘을 기반 전문가로 사용하며, 동적 활성화 및 비활성화 메커니즘을 통해 간격 전역에서의 성능 유지를 도모한다.
• 메타 회귀를 경계하고 간격 별 경계를 임의의 간격으로 확장하기 위해 젠센 부등식과 회귀 분해 기법을 적용한다.
• 임의의 간격 $[r,s]$에 대한 동적 회귀를 이진 간격 $I_i$로 분해하고 기하 급수 경계를 사용하여 스케일 간 누적 오차를 통제한다.
• 동적 회귀 경계를 유도하기 위해 비교자 수열의 변동성을 측정하기 위해 경로 길이 $P_T = \sum_{t=1}^{T-1} \|\mathbf{u}_{t+1} - \mathbf{u}_t\|_2$ 를 활용한다.

실험 결과

연구 질문

• RQ1 비정상적인 환경에서 온라인 학습 알고리즘이 동시에 비선형 적응형 회귀와 비선형 동적 회귀를 달성할 수 있는가?
• RQ2 모든 시간 간격에서 동적 회귀를 최소화하는 단일 알고리즘을 설계하는 것이 가능한가? (특히 전체 수명 주기 외의 간격에서도 가능할 것인가?)
• RQ3 경로 길이와 로그 인자를 함께 고려함으로써 동적 회귀의 이론적 경계를 향상시킬 수 있는가?
• RQ4 고정 간격 대비 동적 활성화 전략의 차이는 적응형 회귀와 동적 회귀 간의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• AOD 알고리즘은 $O(\sqrt{\tau \log T})$ 적응형 회귀와 $O(\sqrt{T(1+P_T)\log T})$ 동적 회귀를 달성하며, 각 지표에 대해 독립적으로 최신 기술 수준의 경계를 확보한다.
• AOA 알고리즘은 $O(\sqrt{\tau \log T})$ 적응형 회귀와 $O(\sqrt{T(\log T + P_T)})$ 동적 회귀를 달성하며, $P_T$ 및 $\log T$ 에 대한 더 타이트한 의존성을 확보한다.
• AOA는 더 강력한 보장을 제공한다: 전체 수명 주기뿐 아니라 임의의 임의의 간격 $[r,s]$에서도 비선형 동적 회귀를 보장한다.
• 이론적 분석 결과, 두 알고리즘이 거의 최적의 동적 회귀 경계를 달성하며, 표준 가정 하에서 $\log T$ 인자는 피할 수 없다는 것이 입증된다.
• 이진 간격에 대한 회귀 분해와 기하 급수 경계의 활용은 스케일 간 누적 오차를 탄탄하게 통제할 수 있도록 한다.
• 경계는 표준 가정 하에 유도되었으며, 이는 유한한 기울기($G$), 유한한 도메인 직경($D$), 그리고 손실 함수의 볼록성이다.