[논문 리뷰] Improved Dynamic Regret for Online Frank-Wolfe

Yuanyu Wan, Lijun Zhang외 1명|arXiv (Cornell University)|2023. 02. 11.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 선형 탐색 기반의 스텝 사이즈 규칙을 도입하여 온라인 프랭크-울프(OFW)의 동적 리그레스 한계를 향상시킨다. 이는 매끄럽고, 강凸이며, 내부 최소화자 설정에서 더 날카운 한계를 달성한다. 강凸 집합 위에서 매끄럽고 강凸인 함수에 대해 $O(\big(1+V_T\big)^{2/3}T^{1/3})$를 확립하고, 내부 최소화자에 대해서는 $O(\big(1+V_T\big))$를 도출하며, 라운드당 일정한 프랭크-울프 반복 수를 사용함으로써 $O(\big(\text{min}\big\bracevert P_T^*, S_T^*, V_T\big\bracevert + 1\big)$로 더욱 정교화한다.

ABSTRACT

To deal with non-stationary online problems with complex constraints, we investigate the dynamic regret of online Frank-Wolfe (OFW), which is an efficient projection-free algorithm for online convex optimization. It is well-known that in the setting of offline optimization, the smoothness of functions and the strong convexity of functions accompanying specific properties of constraint sets can be utilized to achieve fast convergence rates for the Frank-Wolfe (FW) algorithm. However, for OFW, previous studies only establish a dynamic regret bound of $O(\sqrt{T}(V_T+\sqrt{D_T}+1))$ by utilizing the convexity of problems, where $T$ is the number of rounds, $V_T$ is the function variation, and $D_T$ is the gradient variation. In this paper, we derive improved dynamic regret bounds for OFW by extending the fast convergence rates of FW from offline optimization to online optimization. The key technique for this extension is to set the step size of OFW with a line search rule. In this way, we first show that the dynamic regret bound of OFW can be improved to $O(\sqrt{T(V_T+1)})$ for smooth functions. Second, we achieve a better dynamic regret bound of $O(T^{1/3}(V_T+1)^{2/3})$ when functions are smooth and strongly convex, and the constraint set is strongly convex. Finally, for smooth and strongly convex functions with minimizers in the interior of the constraint set, we demonstrate that the dynamic regret of OFW reduces to $O(V_T+1)$, and can be further strengthened to $O(\min\{P_T^\ast,S_T^\ast,V_T\}+1)$ by performing a constant number of FW iterations per round, where $P_T^\ast$ and $S_T^\ast$ denote the path length and squared path length of minimizers, respectively.

연구 동기 및 목표

• 비정적 환경에서 기존 OFW 알고리즘의 한계를 해결하기 위해 동적 리그레스 한계를 향상시키는 것.
• 매끄럽기 및 강凸성을 활용하여 오프라인 프랭크-울프의 빠른 수렴 속도를 온라인 설정으로 확장하는 것.
• 제약 집합 기하학과 최소화자 위치를 활용하여 더 날카운 동적 리그레스 한계를 달성하는 것.
• 수렴과 리그레스 성능 향상을 위해 선형 탐색 기반 스텝 사이즈 규칙을 개발하는 것.

제안 방법

• OFW에서 스텝 사이즈를 적응적으로 설정하기 위해 선형 탐색 규칙을 도입하여 수렴과 리그레스 성능을 향상시킨다.
• 매끄럽기 및 강凸성 하에서 반복마다 진행 상황을 제한하기 위해 프랭크-울프 갭과 내림의 보조정리를 활용한다.
• 함수 변동성 $V_T$, 기울기 변동성 $D_T$, 최적성 갭을 분해하여 리그레스 한계를 유도한다.
• 선형 탐색 규칙을 적용하여 최소화자가 제약 집합의 내부에 있을 경우 $O(\big(\text{min}\big\bracevert P_T^*, S_T^*, V_T\big\bracevert + 1\big)$ 리그레스를 달성한다.
• 제약 집합과 함수의 강凸성을 활용하여 수렴을 가속화하고 $O((1+V_T)^{2/3}T^{1/3})$ 한계를 더욱 날카롭게 한다.
• 최적성 갭과 함수 변동성을 사용한 재귀적 리그레스 분해를 수립하여 매개변수 조정을 통해 더 날카운 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 오프라인 프랭크-울프의 빠른 수렴 속도는 온라인 설정으로 확장되어 동적 리그레스를 향상시킬 수 있는가?
• RQ2 비정적 환경에서 스텝 사이즈의 선택은 OFW의 동적 리그레스에 어떤 영향을 미치는가?
• RQ3 함수가 매끄럽고 강凸이며 최소화자가 제약 집합의 내부에 있을 경우 어떤 동적 리그레스 한계를 달성할 수 있는가?
• RQ4 라운드당 일정한 수의 프랭크-울프 반복을 사용하면 동적 리그레스를 추가로 향상시킬 수 있는가?
• RQ5 함수 변동성 $V_T$, 경로 길이 $P_T^*$, 제곱 경로 길이 $S_T^*$는 OFW의 동적 리그레스에 어떤 영향을 미치는가?

주요 결과

• OFW의 동적 리그레스는 $O(\big(\text{매끄럽고 강凸인 함수: } \big(\text{매끄럽고 강凸인 함수의 강凸 집합 위에서: } O((1+V_T)^{2/3}T^{1/3})$로 향상된다.
• 제약 집합의 내부에 최소화자가 있는 매끄럽고 강凸인 함수에 대해서는 동적 리그레스가 $O(1+V_T)$로 감소한다.
• 라운드당 일정한 수의 프랭크-울프 반복을 수행함으로써 동적 리그레스는 $O(\text{min}\big\bracevert P_T^*, S_T^*, V_T\big\bracevert + 1)$로 더욱 날카럽게 개선된다.
• 선형 탐색 스텝 사이즈 규칙은 진행과 안정성 간의 적응적 균형을 통해 더 날카운 리그레스 한계를 가능하게 한다.
• 분석 결과, 매끄럽기 및 강凸성이 비정적 환경에서도 리그레스 성능을 크게 향상시킨다.
• 개선된 한계는 오프라인과 온라인 프랭크-울프 수렴 속도 간 격차를 메우며, 오프라인 성과가 온라인 최적화로 이행될 수 있음을 보여준다.