[논문 리뷰] Lessons from AlphaZero for Optimal, Model Predictive, and Adaptive Control

Dimitri P. Bertsekas|arXiv (Cornell University)|2021. 08. 20.

Advanced Control Systems Optimization인용 수 33

한 줄 요약

이 논문은 AlphaZero/TD-Gammon 아이디어의 가치-공간 근사와 롤아웃을 분석하고, 결정적 및 확률적 최적 제어에 대한 광범위한 적용 가능성을 보여주며 MPC, 적응 제어, 분산 제어와의 통합을 포함합니다.

ABSTRACT

In this paper we aim to provide analysis and insights (often based on visualization), which explain the beneficial effects of on-line decision making on top of off-line training. In particular, through a unifying abstract mathematical framework, we show that the principal AlphaZero/TD-Gammon ideas of approximation in value space and rollout apply very broadly to deterministic and stochastic optimal control problems, involving both discrete and continuous search spaces. Moreover, these ideas can be effectively integrated with other important methodologies such as model predictive control, adaptive control, decentralized control, discrete and Bayesian optimization, neural network-based value and policy approximations, and heuristic algorithms for discrete optimization.

연구 동기 및 목표

• 온라인 의사 결정을 제어의 오프라인 학습과 연결하여 연구의 동기를 제시한다.
• 가치-공간 근사와 롤아웃이 제어 문제로 어떻게 전이되는지 보여주는 통합적 추상 프레임워크를 제공한다.
• AlphaZero 아이디어의 모델 예측 제어, 적응 제어 및 분산 제어와의 통합을 보여준다.
• 이산 및 베이지안 최적화와 신경망 기반 가치 및 정책 근사와의 연결에 대해 논의한다.

제안 방법

• 통합적 추상 수학 프레임워크를 제시한다.
• AlphaZero/TD-Gammon의 가치-공간 근사가 결정적 및 확률적 최적 제어 모두에 적용된다는 것을 보인다.
• 이산 및 연속 탐색 공간에 대한 적용 가능성을 보여준다.
• 모델 예측 제어, 적응 제어, 분산 제어와의 통합을 설명한다.
• 신경망 기반 가치 및 정책 근사와 휴리스틱 최적화 방법을 도입한다.

실험 결과

연구 질문

• RQ1 AlphaZero/TD-Gammon 아이디어가 게임 플레이를 넘어서는 최적 제어 문제에 어떻게 일반화되는가?
• RQ2 가치-공간 근사와 롤아웃 개념을 MPC, 적응 제어, 분산 제어 프레임워크에 통합할 수 있는가?
• RQ3 이 일반화된 방법들에서 이산 탐색 공간과 연속 탐색 공간의 역할은 무엇인가?
• RQ4 이 아이디어들이 신경망 기반 근사 및 베이지안 최적화 기법과 어떻게 상호 작용하는가?

주요 결과

• AlphaZero/TD-Gammon의 가치-공간 근사와 롤아웃 개념은 결정적 및 확률적 최적 제어로 일반화된다.
• 이 아이디어들은 MPC, 적응 제어, 분산 제어 및 최적화 방법과 효과적으로 통합될 수 있다.
• 이 프레임워크는 이산 및 연속 탐색 공간 모두에 적용된다.
• 신경망 기반 가치 및 정책 근사는 통합된 접근 방식에 포함될 수 있다.
• 이 방법론은 이산 및 베이지안 최적화 및 휴리스틱 이산 최적화 기법과 연계된다.