[논문 리뷰] Adaptivity and Non-stationarity: Problem-dependent Dynamic Regret for Online Convex Optimization

Peng Zhao, Yujie Zhang외 2명|arXiv (Cornell University)|2021. 12. 29.

Advanced Bandit Algorithms Research인용 수 12

한 줄 요약

이 논문은 부드러움과 기울기 변화를 활용하여 문제에 종속된 동적 리그레트 한계를 달성하는 새로운 온라인 볼록 최적화 알고리즘인 Sword와 Sword++을 제안한다. 옵timistic 미러 강하와 보정 항을 활용한 협동적 온라인 앙상블 프레임워크를 통해, 반복마다 하나의 기울기만을 사용함으로써 $Ó(\sqrt{(1+P_T+\min\{V_T,F_T\})(1+P_T)})$의 리그레트를 달성하며, 어려운 문제 인스턴스에서는 최악의 경우 $\mathcal{O}(\sqrt{T(1+P_T)})$의 최소최대 bound보다 향상되면서도 worst-case 강건성을 유지한다.

ABSTRACT

We investigate online convex optimization in non-stationary environments and choose dynamic regret as the performance measure, defined as the difference between cumulative loss incurred by the online algorithm and that of any feasible comparator sequence. Let $T$ be the time horizon and $P_T$ be the path length that essentially reflects the non-stationarity of environments, the state-of-the-art dynamic regret is $\mathcal{O}(\sqrt{T(1+P_T)})$. Although this bound is proved to be minimax optimal for convex functions, in this paper, we demonstrate that it is possible to further enhance the guarantee for some easy problem instances, particularly when online functions are smooth. Specifically, we introduce novel online algorithms that can exploit smoothness and replace the dependence on $T$ in dynamic regret with problem-dependent quantities: the variation in gradients of loss functions, the cumulative loss of the comparator sequence, and the minimum of these two terms. These quantities are at most $\mathcal{O}(T)$ while could be much smaller in benign environments. Therefore, our results are adaptive to the intrinsic difficulty of the problem, since the bounds are tighter than existing results for easy problems and meanwhile safeguard the same rate in the worst case. Notably, our proposed algorithms can achieve favorable dynamic regret with only one gradient per iteration, sharing the same gradient query complexity as the static regret minimization methods. To accomplish this, we introduce the collaborative online ensemble framework. The proposed framework employs a two-layer online ensemble to handle non-stationarity, and uses optimistic online learning and further introduces crucial correction terms to enable effective collaboration within the meta-base two layers, thereby attaining adaptivity. We believe the framework can be useful for broader problems.

연구 동기 및 목표

• 비정상적인 환경에서 정적 및 최악의 경우 동적 리그레트의 한계를 해결하기 위해 더 적응형 성능 측정 기준을 도입하는 것.
• 기울기 변화와 누적 비교자 손실과 같은 문제에 종속된 양을 활용하여, 특히 부드러운 함수에 대해 더 날카운 동적 리그레트 한계를 달성하는 온라인 알고리즘을 개발하는 것.
• 정적 리그레트 최소화 방법과 동일한 반복당 하나의 기울기 효율을 유지하면서도, 향상된 동적 리그레트 보장을 달성하는 것.
• 서면 손실 구성과 결정 편차 보정 항을 통해 메타-기반 레이어 간 협업을 효과적으로 구조화하는 협동적 온라인 앙상블 프레임워크를 설계하는 것.

제안 방법

• 비정상성에 적응하기 위해 다수의 기반 학습자들을 조율하는 메타-학습자가 있는 이중 레이어 온라인 앙상블 프레임워크를 도입한다.
• 메타 레이어와 기반 레이어 양쪽에서 통합된 빌딩 블록으로 옵티미스틱 미러 강하를 사용하여, 리그레트 분석에서 음수 항을 포함한 적응형 업데이트를 가능하게 한다.
• 메타 레이어와 기반 레이어 간의 협업을 향상시키기 위해 선형화와 함께 새로운 결정 편차 보정 항을 포함한 서면 손실 함수를 설계한다.
• 경로 길이 $P_T$, 기울기 변화 $V_T$, 누적 비교자 손실 $F_T$와 같은 문제에 종속된 양을 리그레트 한계에 통합하여 문제의 본질적 어려움을 반영한다.
• 이전 방법들(예: Sword)과 달리 다중 기울기 쿼리 없이 반복당 하나의 기울기만을 사용함으로써, 반복당 하나의 기울기 복잡도를 달성한다.
• 리그레트 분해에서 음수 항을 활용하여 부드러움을 이용하고 비용 증가 없이 한계를 향상시킨다.

실험 결과

연구 질문

• RQ1 부드러운 온라인 볼록 최적화 문제에서 최소최대 $\mathcal{O}(\sqrt{T(1+P_T)})$ 속도를 초월하여 동적 리그레트 한계를 향상시킬 수 있는가?
• RQ2 반복당 하나의 기울기 쿼리만을 사용하면서도 문제에 종속된 동적 리그레트를 달성할 수 있는가? 이는 정적 리그레트 방법의 효율성과 동일한가?
• RQ3 메타-기반 학습자 간의 협업은 어떻게 구성할 수 있는가? 이는 계산 오버헤드 없이 부드러움과 기울기 변화를 활용할 수 있는가?
• RQ4 비교자 수열의 본질적 어려움을 반영할 수 있는 보편적인 동적 리그레트 한계를 구성할 수 있는가? 이는 유리한 경우와 최악의 경우 모두를 포함한다.

주요 결과

• 제안된 Sword++ 알고리즘은 $\mathcal{O}(\sqrt{(1+P_T+\min\{V_T,F_T\})(1+P_T)})$의 문제에 종속된 동적 리그레트 한계를 달성하며, $V_T$와 $F_T$가 작은 쉬운 인스턴스에서 최소최대 $\mathcal{O}(\sqrt{T(1+P_T)})$ bound를 초월한다.
• 알고리즘은 OGD와 Ader와 동일한 반복당 하나의 기울기 복잡도를 유지하므로, 향상된 리그레트 보장을 달성하면서도 계산적으로 효율적이다.
• 실험 결과, Sword++는 합성 데이터와 실제 데이터 모두에서 누적 손실 측면에서 OGD, Ader, Sword를 모두 능가하며, 실행 시간 면에서도 경쟁 가능하다.
• 협동적 온라인 앙상블 프레임워크는 리그레트 분석에서 기울기 변화와 비교자 손실을 효과적으로 활용하여, 계산 효율성 손실 없이 더 날카운 한계를 도출한다.
• 이론적 분석은 이 한계가 임의의 타당한 비교자 수열에 대해 유효함을 확인하며, 환경의 비정상성에 대한 사전 지식 없이도 비정상적인 환경에 적응함을 의미한다.