[논문 리뷰] Logarithmic Regret for Adversarial Online Control

Dylan J. Foster, Max Simchowitz|arXiv (Cornell University)|2020. 02. 29.

Advanced Bandit Algorithms Research참고 문헌 37인용 수 22

한 줄 요약

이 논문은 적대적 외란 하에서 온라인 선형-제곱제어를 위한 새로운 알고리즘인 Riccatitron을 소개한다. 최적의 오프라인 제어 법칙의 특성과 지연된 온라인 학습에 근거한 약한 이점 함수로, 이 알고리즘은 알려진 시스템 동역학과 제곱비용 하에서 $Ó(\log^3 T)$의 오차를 달성한다. 이는 완전히 적대적인 시퀀스에 대해 스위치 가정 없이 최초로 이러한 결과를 이룬다.

ABSTRACT

We introduce a new algorithm for online linear-quadratic control in a known system subject to adversarial disturbances. Existing regret bounds for this setting scale as $\sqrt{T}$ unless strong stochastic assumptions are imposed on the disturbance process. We give the first algorithm with logarithmic regret for arbitrary adversarial disturbance sequences, provided the state and control costs are given by known quadratic functions. Our algorithm and analysis use a characterization for the optimal offline control law to reduce the online control problem to (delayed) online learning with approximate advantage functions. Compared to previous techniques, our approach does not need to control movement costs for the iterates, leading to logarithmic regret.

연구 동기 및 목표

• 적대적 외란이 존재하더라도, 스위치 가정이 아닌 악성 외란일 경우에도 낮은 오차를 달성하는 증명 가능한 효율성의 온라인 제어 알고리즘을 개발하는 것.
• 기존의 $Ó(\sqrt{T})$ 오차 한계와 온라인 제어 이론상 로그 오차 가능성 사이의 격차를 메우는 것.
• 알려진 시스템 행렬 $A$와 $B$ 조건 하에서 온라인 선형 제어에서 로그 오차가 달성 가능한 조건을 설정하는 것.
• 다른 정책이 서로 다른 상태 궤적을 따라가게 되는 동적 온라인 제어에서의 궤적 불일치 문제를 약한 이점 함수를 통한 문제 재정의로 완화하는 것.
• 더 일반적인 기준으로의 확장을 다루며, 내부 상태를 가진 제어기와 추적 손실 함수를 포함하는 것.

제안 방법

• 최적의 오프라인 제어 법칙을 리카티 방정식과 시스템의 폐루프 동역학으로 특성화하여 온라인 제어 문제를 지연된 온라인 학습 문제로 환원한다.
• 현재 정책의 비용과 최적 정책의 비용 차이를 모델링하기 위해 약한 이점 함수를 사용하여 효율적인 오차 최소화를 가능하게 한다.
• 기존 방법들과는 달리 정책 반복의 이동 비용을 제어할 필요가 없으며, 이는 $\sqrt{T}$ 오차가 아닌 로그 오차 달성의 핵심 요소이다.
• 시스템 행렬과 리카티 해의 연산자 노름 한계 및 안정성 보장을 통해 시간 단계 간 오차 전파를 제어한다.
• 리카티 반복의 수렴 속도를 $P_\infty$에 대해 분석하여 유한 수평과 무한 수평 최적 정책 간의 차이를 유계로 제한한다.
• 스펙트럼 성질에 기반하여 안정성과 정규화 조정 기법을 정교하게 조정하여 오차 누적이 시간에 따라 유한하게 유지되도록 한다.

실험 결과

연구 질문

• RQ1 외란이 완전히 적대적일 경우, 온라인 선형-제곱제어에서 로그 오차를 달성할 수 있는가? (스위치나 반-적대적 가정이 아닌 경우)
• RQ2 로그 오차 달성을 위해 필요한 구조적 가정(예: 알려진 $A$, $B$, 제곱비용 등)은 무엇이며, 이것이 충분한가?
• RQ3 동적 온라인 제어에서 궤적 불일치 문제를 어떻게 약한 이점 함수의 재정의를 통해 완화할 수 있는가?
• RQ4 지속적인 자극 조건이나 i.i.d. 노이즈 가정 없이도 오차 한계를 $\sqrt{T}$를 초월해 향상시킬 수 있는가?
• RQ5 최적의 오프라인 제어 법칙의 구조가 로그 오차를 달성하는 효율적인 온라인 학습에 어떤 역할을 하는가?

주요 결과

• 제안된 Riccatitron 알고리즘은 알려진 시스템 동역학과 제곱비용 하에서 적대적 외란에 대해 $\mathcal{O}(\log^3 T)$의 오차를 달성한다.
• 이것은 완전히 적대적인 환경에서 다항로그 오차를 달성한 최초의 알고리즘으로, 외란에 대한 스위치 가정이 필요하지 않다.
• 외란 시퀀스가 적대적으로 적응적으로 선택되더라도 오차 한계가 유지되어 강력한 내성적 안정성을 보여준다.
• 기존 방법들과 달리 정책 반복의 이동 비용을 제어할 필요가 없으며, 이는 로그 오차 달성의 핵심 요소이다.
• 분석 결과, $A$와 $B$가 알려져 있을 경우 로그 오차가 가능하지만, 이들이 알려져 있지 않을 경우 최소화 기준 하에서도 로그 오차 달성이 불가능하며, i.i.d. 가우시안 노이즈 조건 하에서도 마찬가지이다.
• 알고리즘은 내부 상태를 가진 제어기와 추적 손실 함수를 포함한 더 일반적인 기준으로도 확장 가능하며, 유사한 오차 보장을 유지한다.