[논문 리뷰] A Control-Model-Based Approach for Reinforcement Learning.

Yingdong Lu, Mark S. Squillante외 1명|arXiv (Cornell University)|2019. 05. 28.

Reinforcement Learning in Robotics참고 문헌 17인용 수 3

한 줄 요약

이 논문은 기존의 동적 시스템을 모델링하는 데에 초점을 맞추는 전통적인 모델 기반 강화학습의 한계를 해결하기 위해, 직접 최적의 제어 파라미터를 학습하는 새로운 모델 기반 강화학습 접근법을 제안한다. 상호작용 학습과 동적 선택 기반으로 병렬적으로 여러 제어-모델 기반 방법을 실행함으로써, 선형 및 비선형 제어 과제에서 뛰어난 성능을 달성하였으며, 이론적 및 실증적 검증을 통해 상당한 경험적 성과를 입증하였다.

ABSTRACT

We consider a new form of model-based reinforcement learning methods that directly learns the optimal control parameters, instead of learning the underlying dynamical system. This includes a form of exploration and exploitation in learning and applying the optimal control parameters over time. This also includes a general framework that manages a collection of such control-model-based reinforcement learning methods running in parallel and that selects the best decision from among these parallel methods with the different methods interactively learning together. We derive theoretical results for the optimal control of linear and nonlinear instances of the new control-model-based reinforcement learning methods. Our empirical results demonstrate and quantify the significant benefits of our approach.

연구 동기 및 목표

• 기존의 모델 기반 강화학습이 시스템 동역학을 학습하는 데에 집중하는 데서 비롯되는 한계를 해결하기 위해.
• 더 나은 성능과 적응 가능성 확보를 위한 직접적인 제어 파라미터 최적화 프레임워크를 개발하기 위해.
• 여러 병렬 제어-모델 기반 방법 간의 상호작용 학습을 통해 의사결정 품질을 향상시키기 위해.
• 제안된 방법의 선형 및 비선형 사례에 대한 최적 제어의 이론적 기반을 확립하기 위해.
• 제안된 방법의 실증적 검증을 통해 기존 방법 대비 우월성을 정량화하기 위해.

제안 방법

• 이 방법은 기존의 시스템 동역학을 모델링하는 대신, 직접 최적의 제어 파라미터를 학습한다.
• 탐색과 이용 메커니즘을 제어 파라미터 학습 과정 내부에 통합한다.
• 일반적인 프레임워크가 병렬적으로 작동하는 여러 제어-모델 기반 방법을 조율하여, 상호작용하고 공동으로 학습할 수 있도록 한다.
• 성능 피드백에 기반하여 병렬 방법들 중 최고의 결정을 선택하는 프레임워크이다.
• 최적성과 안정성을 보장하기 위해 선형 및 비선형 제어 시스템에 대한 이론적 분석을 수행한다.
• 제안된 방법을 벤치마크 제어 과제에 구현하고 평가하여 경험적 효과성을 입증한다.

실험 결과

연구 질문

• RQ1 강화학습을 어떻게 재구성하여, 시스템 동역학 모델링보다 최적의 제어 파라미터 학습을 우선시할 수 있는가?
• RQ2 직접 제어 파라미터 학습이 선형 및 비선형 시스템에서 최적 성능을 보장하기 위한 이론적 조건은 무엇인가?
• RQ3 여러 병렬 제어-모델 기반 방법 간의 상호작용 학습이 의사결정 품질 향상과 수렴 속도 향상에 어떻게 기여하는가?
• RQ4 기존의 모델 기반 강화학습 대비 직접 제어 파라미터를 학습함으로써 달성할 수 있는 성능 향상은 무엇인가?
• RQ5 다양한 제어 환경에서 제안된 프레임워크의 경험적 효과성은 어떠한가?

주요 결과

• 제안된 방법은 선형 및 비선형 제어 과제에서 기존의 모델 기반 강화학습 접근법에 비해 상당한 성능 향상을 달성하였다.
• 이론적 분석을 통해 선형 및 비선형 시스템에 대한 제어 파라미터 학습 과정의 최적성과 안정성이 확인되었다.
• 병렬 방법 간의 상호작용 학습이 의사결정 품질 향상과 수렴 속도 향상에 기여하였다.
• 실시간으로 최적의 방법을 선택할 수 있는 프레임워크의 능력은 강건하고 적응 가능한 제어 정책을 도출하였다.
• 경험적 결과를 통해 직접 제어 파라미터 학습의 이점을 정량화하였으며, 학습 효율성과 제어 정확도 향상이 명확하게 입증되었다.