[논문 리뷰] Non-stationary Online Learning with Memory and Non-stochastic Control

Peng Zhao, Yan, Yu-Hu외 2명|arXiv (Cornell University)|2021. 02. 07.

Advanced Bandit Algorithms Research참고 문헌 55인용 수 13

한 줄 요약

이 논문은 메모리가 있는 온라인 볼록 최적화(OCO)를 위한 새로운 온라인 학습 알고리즘을 제안하며, 전환 비용을 명시적으로 제어함으로써 최적의 동적 정책 회귀를 달성한다. 이는 전환 비용 인식 온라인 앙상블을 통해 이루어지며, 시간에 따라 변화하는 정책을 고려한 첫 번째 증명 가능 경쟁 컨트롤러를 가능하게 하여 시간 영역, 비정상성, 메모리 길이에 대해 비선형 회귀를 달성한다.

ABSTRACT

We study the problem of Online Convex Optimization (OCO) with memory, which allows loss functions to depend on past decisions and thus captures temporal effects of learning problems. In this paper, we introduce dynamic policy regret as the performance measure to design algorithms robust to non-stationary environments, which competes algorithms' decisions with a sequence of changing comparators. We propose a novel algorithm for OCO with memory that provably enjoys an optimal dynamic policy regret in terms of time horizon, non-stationarity measure, and memory length. The key technical challenge is how to control the switching cost, the cumulative movements of player's decisions, which is neatly addressed by a novel switching-cost-aware online ensemble approach equipped with a new meta-base decomposition of dynamic policy regret and a careful design of meta-learner and base-learner that explicitly regularizes the switching cost. The results are further applied to tackle non-stationarity in online non-stochastic control (Agarwal et al., 2019), i.e., controlling a linear dynamical system with adversarial disturbance and convex cost functions. We derive a novel gradient-based controller with dynamic policy regret guarantees, which is the first controller provably competitive to a sequence of changing policies for online non-stochastic control.

연구 동기 및 목표

• 비정상 환경에서 정적 정책 회귀의 한계를 해결하기 위해 더 엄격한 성능 측정 기준인 동적 정책 회귀를 도입한다.
• 시간에 따라 변화하는 비교자에 대해 최적의 회귀 한계를 확보하는 메모리가 있는 온라인 볼록 최적화를 위한 온라인 학습 알고리즘을 설계한다.
• 메모리에 의존하는 손실 함수에 대한 동적 회귀 최소화에서 핵심 과제인 전환 비용을 제어한다.
• 프레임워크를 온라인 비정상적 제어로 확장하여, 시간에 따라 변화하는 정책을 고려한 첫 번째 동적 정책 회귀 보장을 갖는 컨트롤러를 제공한다.
• 시간 영역, 비정상성, 메모리 길이 측면에서 제안된 알고리즘에 대한 이론적 보장을 수립한다.

제안 방법

• 동적 정책 회귀의 새로운 메타-베이스 분해를 도입하여, 회귀를 메타-학습자와 베이스-학습자 구성요소로 분리한다.
• 메타-학습자가 결정의 누적 이동을 명시적으로 정규화함으로써 전환 비용 인식 온라인 앙상블을 설계한다.
• 정밀하게 조정된 정규화 방식을 사용하여, 정규화된 메타-학습자를 설계하여 정규화와 전환 비용을 균형 잡는다.
• OCO에서 메모리 조건을 고려하면서 지역 손실 함수에 적응하는 베이스-학습자를 사용한다.
• 기울기 기반 컨트롤러를 유도함으로써 온라인 비정상적 제어에 프레임워크를 적용하고, 동적 회귀 보장을 제공한다.
• 안정성 및 변화 분석을 활용하여 시스템 추정 오차 하에서의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 메모리가 있는 OCO에서 전환 비용을 제어하면서 동적 정책 회귀를 최소화할 수 있는가?
• RQ2 비정상적, 메모리에 의존하는 온라인 학습에서 정규화와 전환 비용 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 제안된 알고리즘이 시간 영역, 비정상성, 메모리 길이에 대해 최적으로 스케일링되는 비선형 동적 정책 회귀를 달성할 수 있는가?
• RQ4 시간에 따라 변화하는 정책을 고려한 온라인 비정상적 제어를 위한 증명 가능 경쟁 컨트롤러를 설계할 수 있는가?
• RQ5 제안된 방법은 제어 시스템의 모델 추정 오차 하에서도 안정성과 성능을 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 $ O(\sqrt{T} + \sqrt{V_T} + \sqrt{m}) $ 의 최적 동적 정책 회귀 한계를 확보한다. 여기서 $ T $ 는 시간 영역, $ V_T $ 는 비정상성 측정치, $ m $ 은 메모리 길이이다.
• 메타-학습자에서 새로운 정규화를 통해 전환 비용이 명시적으로 제어되며, 앙상블 구조에서 이동의 선형 스케일링을 방지한다.
• 이 알고리즘은 비정상적 제어에 대해 동적 정책 회귀 보장을 제공하는 첫 번째 알고리즘이며, 시간에 따라 변화하는 정책과 경쟁할 수 있는 기울기 기반 컨트롤러를 제공한다.
• 안정성 분석을 통해 유한한 시스템 추정 오차 하에서 컨트롤러가 강력하게 안정되어 있음을 보여주며, 감쇠율은 $ \gamma - 2\kappa^3\varepsilon_{A,B} $ 이다.
• 모델 불확실성 하에서 시스템 상태 및 외란 오차에 대한 이론적 경계를 유도하여, 허구적 시스템 내에서 유한성을 보장한다.
• 모든 관련 매개변수에 대해 비선형 회귀를 달성하여 비정상적 환경과 메모리 효과에 대한 강건성을 입증한다.