[논문 리뷰] From self-tuning regulators to reinforcement learning and back again

Nikolai Matni, Alexandre Proutière외 2명|arXiv (Cornell University)|2019. 06. 27.

Advanced Control Systems Optimization참고 문헌 123인용 수 16

한 줄 요약

이 논문은 제어 이론의 자기조정 조절기와 현대 강화학습(RL)을 연결하며, 모델 기반 RL 방법이 모델 자유 정책 기울기 접근법보다 더 뛰어난 샘플 효율성과 유한 시간 성능 보장을 달성함을 보여준다. 모델 기반 방법은 선형 제곱조절기(LQR) 설정에서 거의 최적의 리스크 스케일링 $ O(n_x n_u / N) $ 을 달성함을 입증하였고, 정책 기울기 방법은 $ T $-의존적 샘플 복잡도 격차를 야기함을 증명하여, 모델 기반 접근법이 거의 최적임을 보여준다.

ABSTRACT

Machine and reinforcement learning (RL) are increasingly being applied to plan and control the behavior of autonomous systems interacting with the physical world. Examples include self-driving vehicles, distributed sensor networks, and agile robots. However, when machine learning is to be applied in these new settings, the algorithms had better come with the same type of reliability, robustness, and safety bounds that are hallmarks of control theory, or failures could be catastrophic. Thus, as learning algorithms are increasingly and more aggressively deployed in safety critical settings, it is imperative that control theorists join the conversation. The goal of this tutorial paper is to provide a starting point for control theorists wishing to work on learning related problems, by covering recent advances bridging learning and control theory, and by placing these results within an appropriate historical context of system identification and adaptive control.

연구 동기 및 목표

• 고전적 적응 제어와 현대 RL을 연결함으로써 제어 이론가들이 학습 기반 제어 문제에 참여할 수 있는 기초를 제공하기 위해.
• 학습 기반 제어 시스템에서 유한 데이터 보장과 불확실성 정량화의 중요성을 부각하기 위해.
• 선형 시스템에 대해 샘플 복잡도와 성능 경계 측면에서 모델 기반 및 모델 자유 RL 방법을 비교하기 위해.
• LQR 설정에서 자기조정 조절기와 정책 기울기 알고리즘에 대한 이론적 유한 시간 성능 보장을 수립하기 위해.
• 모델 기반 방법이 거의 최적의 샘플 복잡도를 달성할 수 있음을, 반면 모델 자유 방법은 증명 가능한 성능 격차를 겪을 수 있음을 보여주기 위해.

제안 방법

• 논문은 유한 시간 성능 지표를 사용하여 이산 시간 선형 제곱조절기(LQR) 문제에서 모델 기반 자기조정 조절기의 리스크를 분석한다.
• 명시적 컨트롤러의 渐近적 리스크 경계를 유도하며, $ \mathbb{E}[J(\widehat{K}) - J_\star] \approx O(n_x n_u / N) $ 라고 나타내며 $ N \to \infty $ 일 때 성립함을 보여준다.
• 간단한 기준과 가치 함수 기준 두 가지를 사용한 정책 기울기 방법을 평가하며, 각각 $ \liminf_{N\to\infty} N \cdot \mathbb{E}[J(\widehat{K}) - J_\star] = \Omega(T^2 n_x^3 n_u) $ 과 $ \Omega(T n_x^2 n_u) $ 라는 결과를 증명한다.
• 피드백 형식 $ u_t = Kx_t + \eta_t $ 을 사용하는 모든 알고리즘이 $ \Omega(n_u(n_x - n_u)/N) $ 이하의 리스크를 달성할 수 없음을 보여주는 정보 이론적 하한선을 도입한다. 이는 모델 기반 방법과 상수 인자 수준에서 일치한다.
• 최적 제어, 확률적 최적화, 고차원 통계 도구를 사용하여 유한 데이터 성능를 분석하며, 불확실성 정량화의 중요성을 강조한다.
• 최근의 RL 발전을 시스템 식별과 적응 제어의 역사적 맥락 안에서 위치지으며, 공통의 과제와 해결책을 강조한다.

실험 결과

연구 질문

• RQ1 모델 기반 및 모델 자유 RL 방법은 선형 제곱조절기 문제에서 샘플 효율성 측면에서 어떻게 비교될 수 있는가?
• RQ2 LQR 설정에서 자기조정 조절기의 유한 시간 성능 보장은 어떻게 수립될 수 있는가?
• RQ3 정책 기울기 방법의 리스크는 시간 길이 $ T $, 상태 차원 $ n_x $, 제어 차원 $ n_u $ 를 기준으로 유계로 간주될 수 있는가?
• RQ4 LQR 설정에서 명시적 모델 기반 컨트롤러의 성능은 상수 인자 수준에서 최적인가?
• RQ5 불확실성 정량화는 고전적 적응 제어와 현대 RL을 연결하는 데 어떤 역할을 하는가?

주요 결과

• 모델 기반 명시적 컨트롤러는 $ O(n_x n_u / N) $ 의 리스크를 달성하며, 이는 정보 이론적 하한선에 의해 거의 최적임이 입증된다.
• 간단한 기준을 사용한 정책 기울기 방법은 $ \Omega(T^2 n_x^3 n_u / N) $ 의 리스크를 유발하며, 이는 $ T^2 $-의존적 샘플 복잡도 보상이 있음을 나타낸다.
• 가치 함수 기준을 사용하더라도 정책 기울기 방법은 $ \Omega(T n_x^2 n_u / N) $ 의 리스크를 가지며, 여전히 모델 기반 방법보다 $ T $ 배만큼 열 劣하다.
• 모델 기반 방법의 성능는 유한한 이득과 가우시안 노이즈를 갖는 선형 피드백을 사용하는 모든 알고리즘에 대해 상수 인자 수준에서 최적이다.
• 결과적으로 LQR 문제에서 샘플 복잡도 측면에서 모델 기반 및 모델 자유 방법 사이에 증명 가능하고 정량화된 격차가 있음을 보여준다.
• 최적 제어, 확률적 최적화, 고차원 통계 도구를 통합함으로써 RL에서의 유한 데이터 보장을 달성할 수 있으며, 특히 불확실성 정량화가 이루어질 경우 더욱 그렇다.