[논문 리뷰] Introduction to Online Control

Elad Hazan, Karan P. Singh|arXiv (Cornell University)|2022. 11. 17.

Advanced Bandit Algorithms Research인용 수 8

한 줄 요약

이 논문은 적대적 비용 함수와 교란 요인 하에서 동적 시스템을 제어하기 위한 프레임워크인 온라인 비스스로스토닉 제어를 소개한다. 이는 온라인 볼록 최적화 기법을 활용하며, 기울기 교란 제어기와 함께 하위선형 리그레트 한계를 확립한다. 온라인 기울기 하강법을 사용하여 $ O(\mathrm{GD} \sum{T}) $ 리그레트를 달성하며, 전통적인 최적 또는 강건 제어가 실패하는 적대적 환경에서도 유한 시간 보장을 제공한다.

ABSTRACT

This text presents an introduction to an emerging paradigm in control of dynamical systems and differentiable reinforcement learning called online nonstochastic control. The new approach applies techniques from online convex optimization and convex relaxations to obtain new methods with provable guarantees for classical settings in optimal and robust control. The primary distinction between online nonstochastic control and other frameworks is the objective. In optimal control, robust control, and other control methodologies that assume stochastic noise, the goal is to perform comparably to an offline optimal strategy. In online nonstochastic control, both the cost functions as well as the perturbations from the assumed dynamical model are chosen by an adversary. Thus the optimal policy is not defined a priori. Rather, the target is to attain low regret against the best policy in hindsight from a benchmark class of policies. This objective suggests the use of the decision making framework of online convex optimization as an algorithmic methodology. The resulting methods are based on iterative mathematical optimization algorithms, and are accompanied by finite-time regret and computational complexity guarantees.

연구 동기 및 목표

• 고전적 최적 제어 및 강건 제어의 한계를 해결하기 위해, 노이즈와 비용 함수가 적대자에 의해 선택되는 환경에서의 성능을 향상시키기 위해.
• 스토케스틱 가정에 의존하지 않고, 과거에 가장 좋은 정책에 대해 낮은 리그레트를 보장하는 제어 프레임워크를 개발하기 위해.
• 동적 시스템에 온라인 볼록 최적화 기법을 적용하여, 유한 시간 리그레트 및 계산 복잡도 보장을 가능하게 하기 위해.
• 선형 및 교란 반응 제어기 포함, 온라인 비스스로스토닉 제어에 적합한 정책 클래스와 제어기 구조를 체계화하기 위해.
• 온라인 학습과 제어 이론 사이의 격차를 해소하기 위해, 악조건 조건에서도 성능 보장을 보장하는 새로운 범주를 도입하기 위해.

제안 방법

• 결정 집합 $\mathcal{K}$ 위에 투영하는 온라인 기울기 하강법을 사용하여, 적대적 환경에서 리그레트를 최소화한다.
• 현재 비용 함수의 기울기를 기반으로 제어 동작을 업데이트하는 기울기 교란 제어기를 적용한다.
• 두 단계 업데이트: 기울기 하강 단계 이후에 결정 집합 $\mathcal{K}$ 내에서의 탇합성 유지 목적의 투영 단계.
• 리그레트를 실제 비용과 과거에 가장 좋은 고정 정책의 비용 간 누적 차이로 정의한다.
• $D$ (결정 집합의 지름) 및 $G$ (기울기 노름)의 경계를 사용하여 리그레트 보장을 유도한다.
• 분석에서 텔레스코프 급수와 피타고라스 부등식을 사용하여 리그레트 한계 $ \mathrm{regret}_T \leq \frac{3}{2}GD\sqrt{T} $ 를 유도한다.

실험 결과

연구 질문

• RQ1 온라인 볼록 최적화 기법은 적대적 비용 함수와 교란 요인 하에서 동적 시스템 제어에 효과적으로 적용될 수 있는가?
• RQ2 온라인 비스스로스토닉 제어에서 달성 가능한 최소 리그레트는 무엇이며, 이는 시스템의 동역학과 무관하게 유계일 수 있는가?
• RQ3 다양한 정책 클래스(예: 선형, 일반화된 선형, 교란 반응)는 표현력과 리그레트 성능 측면에서 어떻게 비교되는가?
• RQ4 기울기 교란 제어기는 적대적 온라인 제어에서 하위선형 리그레트와 함께 유한 시간 보장을 달성할 수 있는가?
• RQ5 증명 가능한 성능 보장을 갖는 온라인 제어 알고리즘을 구현하기 위한 계산 및 구조적 요구사항은 무엇인가?

주요 결과

• 온라인 기울기 하강법은 시간 $ T $ 에 대해 하위선형인 리그레트 한계 $ \frac{3}{2}GD\sqrt{T} $ 를 달성하며, 이는 장기적으로 평균 성능이 가장 좋은 고정 정책에 수렴함을 보장한다.
• 리그레트 한계는 볼록성, 투영 성질, 텔레스코프 급수를 사용하여 유도되었으며, 단계 크기 $ \eta_t = \frac{D}{G\sqrt{t}} $ 가 수렴성과 안정성 사이의 최적 균형을 확보한다.
• 투영 단계는 결정 집합 $ \mathcal{K} $ 내에서의 탇합성을 보장하며, 그 계산 비용은 볼록 최적화의 복잡도로 제한된다.
• 프레임워크는 적대적 비용 함수와 교란 요인에 대해 강건하며, 최적 정책이 사전에 존재한다고 가정하지 않고 오히려 과거에 학습된다.
• 분석 결과, 악조건 비용 함수가 존재하더라도 누적 리그레트가 선형보다 느리게 증가함을 보여주며, 신뢰할 수 있는 성능 보장을 가능하게 한다.
• 이 방법은 유한 시간 리그레트 및 계산 복잡도 보장을 제공하므로, 불확실성 하에서 실시간 제어 응용에 적합하다.