[논문 리뷰] Online Optimization : Competing with Dynamic Comparators

Ali Jadbabaie, Alexander Rakhlin외 2명|arXiv (Cornell University)|2015. 01. 26.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 93

한 줄 요약

이 논문은 경쟁자 수열의 경로 변동($C_T$), 손실 함수의 시간적 변동성($V_T$), 기울기의 예측 오차($D_T$) 세 가지 복잡도 측도에 비례하는 동적 리그레트 경계를 달성하는 완전히 적응형 온라인 최적화 알고리즘을 소개한다. 적응형 스텝 사이즈를 갖는 낙관적 미러 강하 프레임워크를 활용함으로써, 이러한 양들의 사전 지식 없이도 선형 이하의 리그레트를 달성하며, 정적 및 동적 리그레트 설정 모두에서 기존 결과를 향상시킨다.

ABSTRACT

Recent literature on online learning has focused on developing adaptive algorithms that take advantage of a regularity of the sequence of observations, yet retain worst-case performance guarantees. A complementary direction is to develop prediction methods that perform well against complex benchmarks. In this paper, we address these two directions together. We present a fully adaptive method that competes with dynamic benchmarks in which regret guarantee scales with regularity of the sequence of cost functions and comparators. Notably, the regret bound adapts to the smaller complexity measure in the problem environment. Finally, we apply our results to drifting zero-sum, two-player games where both players achieve no regret guarantees against best sequences of actions in hindsight.

연구 동기 및 목표

• 경쟁자 수열의 규칙성과 자연의 손실 함수의 '좋음' 정도에 적응하는 온라인 학습 알고리즘을 개발하는 것.
• $C_T$, $V_T$, $D_T$에 의존하는 기존 리그레트 경계를 이 세 가지 측도에 대한 사전 지식 없이도 하나의 프레임워크로 통합하는 것.
• 동적 리그레트와 적응형 스텝 사이즈, 낙관적 예측을 조합하여 전체 정보 설정에서 선형 이하의 리그레트 보장을 확립하는 것.
• 손실 함수의 시간적 구조를 활용하여 온라인 최적화의 적용 가능성을 비-i.i.d. 및 비적대적 환경으로 확장하는 것.
• 변동하는 두 플레이어의 제로섬 게임에서 이 알고리즘이 효과적임을 보여주는 것. 이 경우 양 플레이어가 시간에 따라 변하는 최적 전략에 대해 리그레트 없이 행동할 수 있다.

제안 방법

• 알고리즘은 동적 환경에서 탐색과 이용을 균형 잡는 데 사용되는 적응형 스텝 사이즈를 갖는 낙관적 미러 강하(OMD) 프레임워크를 사용한다.
• 기울기 예측 메커니즘을 도입하여 $D_T = \sum_t \|\nabla f_t(x_t) - M_t\|_*^2$ 에 의존하는 리그레트 경계를 달성한다.
• 리그레트 분석은 텔레스코프 합과 노름 부등식을 활용하여 실제 손실과 예측 손실 간의 차이를 제한하며, 특히 $\ell_1$ 및 $\ell_\infty$ 노름을 사용한다.
• 핵심 요소는 $\log(T^2n)$ 과 $L$ 에 따라 의존하는 스텝 사이즈 스케줄 $\eta_t$ 를 사용하여, $V_T$ 가 알려져 있지 않은 경우에도 수렴을 보장하는 것.
• 지ay수행 매트릭스의 시간적 변동을 캡처하는 $\sum_t \|f_t^\top A_t - f_{t-1}^\top A_{t-1}\|_\infty^2$ 에 대한 경계를 유도한다.
• 리그레트 경계를 $C_T(u)$, $V_T$, $D_T$ 에 따라 스케일링하며, 세 측도 중 가장 작은 복잡도 측도에 적응하는 통합 분석을 통해 통합한다.

실험 결과

연구 질문

• RQ1 사전 지식 없이도 경쟁자 수열의 경로 변동 $C_T$ 에 따라 동적 리그레트가 적응할 수 있는 온라인 알고리즘이 존재하는가?
• RQ2 손실 함수의 시간적 변동성 $V_T$ 는 온라인 볼록 최적화에서 리그레트 경계를 향상시키는 데 어떻게 활용될 수 있는가?
• RQ3 한 번의 알고리즘으로 $C_T$, $V_T$, $D_T$ 세 복잡도 측도에 의존하는 리그레트 경계를 완전히 적응형 방식으로 同시로 달성할 수 있는가?
• RQ4 비-i.i.d. 환경에서 비정상적인 비용 함수를 갖는 상황에서 낙관적 예측과 리그레트 최소화 간의 상호작용은 어떠한가?
• RQ5 두 플레이어의 제로섬 게임에서 이 방법을 사용해 양 플레이어가 시간에 따라 변하는 최적 전략에 대해 리그레트 없이 행동할 수 있는가?

주요 결과

• 제안된 알고리즘은 $C_T$ 의 값을 사전에 알지 못해도 동적 리그레트 경계를 $\mathcal{O}(\log(T^2n)(C_T + 2)(32L + o(1)))$ 의 순서로 달성한다.
• 리그레트 경계는 $\sqrt{\sum_t \|f_t^\top A_t - f_{t-1}^\top A_{t-1}\|_\infty^2}$ 에 비례하며, 지급 매트릭스의 시간적 변동을 캡처한다.
• $V_T$ 가 작을 경우 리그레트 경계가 크게 향상되며, 노이즈가 있는 기울기 하에서 $\mathcal{O}(T^{2/3}(V_T + 1)^{1/3})$ 의 순서를 달성한다. 이는 기존 결과와 일치하지만 $V_T$ 가 사전에 알려져 있지 않아도 된다는 점에서 유리하다.
• 변동하는 두 플레이어의 제로섬 게임에서 알고리즘은 선형 이하의 리그레트를 달성하며, 양 플레이어가 평균 최소최대 균형에 $C_T$ 와 $V_T$ 에 따라 영향을 받는 속도로 수렴한다.
• 분석 결과 리그레트 경계가 $C_T$, $V_T$, $D_T$ 중 가장 작은 복잡도 측도에 적응함을 보여주며, 이는 이전 연구 대비 통합적 향상이다.
• 한 플레이어가 부정확할 경우에도 알고리즘의 성능은 강건하며, 리그레트 경계는 여전히 선형 이하이며 오직 상대방의 전략 변동성과 학습자의 자체 예측 오차에만 의존한다.