[논문 리뷰] Regret Bounds for Model-Free Linear Quadratic Control.

Yasin Abbasi-Yadkori, Nevena Lazic외 1명|arXiv (Cornell University)|2018. 04. 17.

Advanced Bandit Algorithms Research인용 수 18

한 줄 요약

이 논문은 선형 제곱(LQ) 제어를 위한 모델 프리 알고리즘을 제안하며, 문제를 전문가 예측으로 환원하여 T라운드 동안 $O(T^{3/4})$의 리그레트 바운드를 달성한다. 이 접근법은 연속 제어를 위한 일반적인 목적의 모델 프리 프레임워크에서 강력한 이론적 보장을 제공한다.

ABSTRACT

Model-free approaches for reinforcement learning (RL) and continuous control find policies based only on past states and rewards, without fitting a model of the system dynamics. They are appealing as they are general purpose and easy to implement; however, they also come with fewer theoretical guarantees than model-based approaches. In this work, we present a model-free algorithm for controlling linear quadratic (LQ) systems, which is the simplest setting for continuous control and widely used in practice. Our approach is based on a reduction of the control of Markov decision processes to an expert prediction problem. We show that the algorithm regret scales as $O(T^{3/4})$, where $T$ is the number of rounds.

연구 동기 및 목표

• 선형 제곱 시스템을 위한 모델 프리 강화 학습 알고리즘을 개발하고, 증명 가능한 이론적 성능 보장을 확보한다.
• 연속 제어에서 모델 프리 방법의 실용성과 모델 기반 접근의 이론적 엄밀성 사이의 격차를 메운다.
• 기본적인 제어 이론에서 널리 응용되는 LQ 제어 설정에서 모델 프리 알고리즘의 리그레트 바운드를 확립한다.
• 전문가 예측 환원이 시스템 동역학 모델링 없이도 연속 제어에서 강력한 성능 바운드를 도출할 수 있는가를 보여준다.

제안 방법

• 알고리즘은 온라인 학습 기법을 활용하여 마코프 결정 과정의 제어를 전문가 예측 문제로 환원한다.
• 시스템 동역학을 모델링하지 않고도 관측된 상태와 보상에만 의존하는 정책 최적화 프레임워크를 사용한다.
• 시간에 따라 리그레트를 최소화하기 위해 온라인 볼록 최적화를 적용하며, 피드백 기반의 정책 업데이트 시퀀스를 활용한다.
• 리그레트 분석은 손실이 유계인 전문가 예측 문제의 시퀀스로의 환원을 통해 유도되며, 이는 이론적 스케일링 바운드를 가능하게 한다.
• 알고리즘은 시스템의 전이 또는 비용 함수를 알지 못한 채 작동하며, 관측된 궤적에만 의존한다.
• $O(T^{3/4})$ 리그레트 바운드는 온라인 학습 리그레트 분해를 통한 최적 정책에서의 누적 이탈에 대한 새로운 분석을 통해 확립된다.

실험 결과

연구 질문

• RQ1 시스템 동역학 모델링 없이도 모델 프리 알고리즘이 선형 제곱 제어에서 비선형 리그레트를 달성할 수 있는가?
• RQ2 모델 프리 방법이 LQ 제어 설정에서 달성할 수 있는 최선의 리그레트 바운드는 무엇인가?
• RQ3 전문가 예측 환원이 상태와 보상 피드백만으로 연속 제어에서 강력한 이론적 보장을 제공할 수 있는가?
• RQ4 리그레트 스케일링 측면에서 모델 프리 접근법의 성능은 모델 기반 방법과 어떻게 비교되는가?

주요 결과

• 제안된 모델 프리 알고리즘은 $O(T^{3/4})$ 리그레트 바운드를 달성하며, 이는 비선형이면서도 모델 프리 제어에 있어 중요한 이론적 보장이다.
• 리그레트 스케일링은 전문가 예측으로의 환원을 통해 확립되며, 이는 제어 맥락에서 온라인 학습 도구의 활용을 가능하게 한다.
• 이 방법은 시스템의 동역학을 알 필요가 없어, 환경가 불확실하거나 복잡한 상황에서도 적용 가능하다.
• 모델 없이도 강력한 이론적 성능을 유지함으로써, 모델 프리 접근법이 실용적이면서도 이론적으로 타당함을 입증한다.