[논문 리뷰] Optimal Dynamic Regret in Proper Online Learning with Strongly Convex Losses and Beyond

Dheeraj Baby, Yu-Xiang Wang|arXiv (Cornell University)|2022. 01. 21.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 강한 볼록성과 지수-볼록성 손실 설정에서 올바른 온라인 학습 알고리즘—특히 강한 적응형(Strongly Adaptive, SA) 방법—이 의사결정 집합 외부의 예측을 허용하지 않는 불완전한 학습(Improper learning) 없이도 거의 최적의 동적 리그레트를 달성할 수 있음을 입증한다. 카르누시-쿠른-터커(KKT) 조건에서 도출된 새로운 구조적 통찰을 통해 저자들은 $\tilde{O}(d^{1/3}n^{1/3}\text{TV}[u_{1:n}]^{2/3} \vee d)$의 동적 리그레트 한계를 유도하며, 이러한 설정에서 최적의 속도를 달성하기 위해 불완전한 학습이 반드시 필요한지에 대한 열린 문제를 해결한다.

ABSTRACT

We study the framework of universal dynamic regret minimization with strongly convex losses. We answer an open problem in Baby and Wang 2021 by showing that in a proper learning setup, Strongly Adaptive algorithms can achieve the near optimal dynamic regret of $ ilde O(d^{1/3} n^{1/3} ext{TV}[u_{1:n}]^{2/3} \vee d)$ against any comparator sequence $u_1,\ldots,u_n$ simultaneously, where $n$ is the time horizon and $ ext{TV}[u_{1:n}]$ is the Total Variation of comparator. These results are facilitated by exploiting a number of new structures imposed by the KKT conditions that were not considered in Baby and Wang 2021 which also lead to other improvements over their results such as: (a) handling non-smooth losses and (b) improving the dimension dependence on regret. Further, we also derive near optimal dynamic regret rates for the special case of proper online learning with exp-concave losses and an $L_\infty$ constrained decision set.

연구 동기 및 목표

• 강한 볼록 온라인 학습 설정에서 최적의 동적 리그레트를 달성하기 위해 불완전한 학습이 반드시 필요한지 여부를 해결하는 것.
• 예측이 의사결정 집합 내에 유지되는 올바른 학습 설정으로 [improperDynamic]의 동적 리그레트 분석을 확장하는 것.
• 새로운 KKT 기반의 구조적 통찰을 활용하여 차원 의존도를 개선하고 비연속적인 손실을 다루는 것.
• L_\infty-유계 의사결정 집합을 갖는 지수-볼록 손실 하에서 거의 최적의 리그레트 비율을 확립하는 것.

제안 방법

• 전체 변화량(Total Variation, TV) 제약 조건 하에서 최적의 결정을 기술하기 위해 카르누시-쿠른-터커(Karush-Kuhn-Tucker, KKT) 조건에 기반한 새로운 분석 프레임워크를 제안한다.
• 결정 집합 $[-B,B]$ 내에서 제한된 영역에서 동작하는 온라인 경사 하강법(Online Gradient Descent, OGD)을 기본 학습기로 사용하며, Follow-the-Leading-History(FLH) 알고리즘을 적용하여 올바른 학습을 보장한다.
• 비교자 시퀀스가 구간 내에서 일정한 시간 간격 분해 전략을 도입하여, 더 나은 정적 점과의 비교를 가능하게 한다.
• 리그레트를 구간별 성분으로 분해함으로써, 일정한 비교자에 대한 리그레트는 더 우수한 정적 점에 대한 리그레트로 상쇄되도록 한다.
• 강한 적응성 특성을 활용하여 각 구간에서 학습자의 리그레트가 더 나은 정적 점의 리그레트에 로그 항을 더한 값으로 제한되도록 보장한다.
• 모르는 전체 변화량 $C_n$에 대해 적응 가능한 보편적인 동적 리그레트 한계를 유도하며, $C_n$의 사전 지식이 필요하지 않다.

실험 결과

연구 질문

• RQ1 강한 볼록 손실 설정에서 올바른 온라인 학습이 불완전한 학습과 동일한 동적 리그레트 비율을 달성할 수 있는가?
• RQ2 강한 볼록성 하에서 거의 최적의 동적 리그레트를 달성하기 위해 불완전한 학습의 사용이 반드시 필요한가?
• RQ3 KKT 조건은 비정적 온라인 학습에서 더 날카운 리그레트 한계를 도출하기 위해 어떻게 활용될 수 있는가?
• RQ4 올바른 학습 설정에서 동적 리그레트의 최적의 차원 $d$, 시간 영역 $n$, 전체 변화량 $\text{TV}[u_{1:n}]$ 의 의존도는 무엇인가?
• RQ5 결과는 $L_\infty$-유계 의사결정 집합을 갖는 지수-볼록 손실로 확장될 수 있는가?

주요 결과

• 강한 볼록 손실 하에서 올바른 강한 적응형 알고리즘에 대해 $\tilde{O}(d^{1/3}n^{1/3}\text{TV}[u_{1:n}]^{2/3} \vee d)$의 동적 리그레트 한계를 확립하며, 이는 로그 인자 외에는 최적 비율과 일치한다.
• 이 결과는 강한 볼록 온라인 학습에서 거의 최적의 동적 리그레트를 달성하기 위해 불완전한 학습이 반드시 필요하지 않음을 시사한다.
• 기존 연구 대비 차원 의존도를 개선하고, [improperDynamic]의 기울기-립시츠 조건을 초월하여 비연속적인 손실을 다룰 수 있다.
• L_\infty-유계 의사결정 집합을 갖는 지수-볼록 손실에 대해서는 $\tilde{O}^*(n^{1/3}\text{TV}[u_{1:n}]^{2/3} \vee 1)$의 리그레트 한계를 달성하며, 이는 거의 최적이다.
• KKT 기반의 구조적 통찰은 더 날카운 리그레트 분해를 가능하게 하며, 유한한 전체 변화량을 갖는 임의의 비교자 시퀀스와의 효과적인 경쟁을 가능하게 한다.
• 제안된 FLH-OGD 전략은 전체 변화량 $C_n$을 사전에 알 필요 없이 보편적인 동적 리그레트를 달성하며, 제약 조건 하에서도 적응 가능하고 안전하다.