[논문 리뷰] Deep Reinforcement Learning for Event-Triggered Control

Dominik Baumann, Jia-Jie Zhu외 2명|arXiv (Cornell University)|2018. 09. 13.

Adaptive Dynamic Programming Control참고 문헌 42인용 수 15

한 줄 요약

이 논문은 시스템 동역학 모델이 필요 없이 사전 정의된 시스템 모델 없이 이벤트 트리거드 제어(Estimated Control, ETC)의 제어 및 통신 정책을 동시에 학습하는 딥 강화학습(DRL) 프레임워크를 제안한다. DDPG 및 정책 그래เดียน트 방법을 사용하여 선형 작업에서는 최대 90%의 통신 절감을 달성했고, 비선형 이동 제어 작업에서는 최대 60%의 절감을 이룩했으며, 특히 모델 기반 ETC가 실패하는 낮은 통신 레이트 환경에서도 안정성을 유지한다.

ABSTRACT

Event-triggered control (ETC) methods can achieve high-performance control with a significantly lower number of samples compared to usual, time-triggered methods. These frameworks are often based on a mathematical model of the system and specific designs of controller and event trigger. In this paper, we show how deep reinforcement learning (DRL) algorithms can be leveraged to simultaneously learn control and communication behavior from scratch, and present a DRL approach that is particularly suitable for ETC. To our knowledge, this is the first work to apply DRL to ETC. We validate the approach on multiple control tasks and compare it to model-based event-triggering frameworks. In particular, we demonstrate that it can, other than many model-based ETC designs, be straightforwardly applied to nonlinear systems.

연구 동기 및 목표

• 정확한 시스템 동역학 모델이 필요한 모델 기반 이벤트 트리거드 제어(ETC)의 한계를 해결하기 위해.
• 원시 센서 데이터와 시뮬레이션 경험에서 제어 및 통신 정책을 동시에 학습할 수 있도록 하기 위해.
• 제어기와 트리거를 별도로 최적화할 경우 최적 성능을 달성하지 못하는 ETC의 분리 원칙 실패 문제를 해결하기 위해.
• 로봇 이동 제어와 같은 비선형 및 복잡한 제어 작업에서 DRL의 타당성과 효과성을 입증하기 위해.
• 특히 모델 기반 방법이 실패하는 낮은 통신 레이트 환경에서도 제어 성능을 유지하면서 높은 통신 효율성을 달성하기 위해.

제안 방법

• 제어 성능과 통신 비용을 종합한 보상 함수를 사용하여 자원 인지 제어를 강화학습(RL) 문제로 공식화한다.
• 원시 관측치에서 제어 및 통신 정책을 엔드 투 엔드로 학습하기 위해 심층 결정적 정책 그래데이언트(DDPG)를 사용한다.
• 사전 학습된 타이머 기반 제어기 존재 시 통신 정책만을 정책 그래데이언트로 학습한다.
• 이중 단계 학습 프로세스를 구현: 먼저 TRPO를 통해 전체 통신 제어기를 학습하고, 이후 보상 증강을 통해 통신 정책을 학습한다.
• 연속 제어 작업에서 제어 입력과 통신 결정을 표현하기 위해 파rameterized 동작 공간을 사용한다.
• MuJoCo 물리 엔진 기반 시뮬레이션 환경을 활용하여 복잡한 작업(예: 개 로봇의 이동)에서 에이전트를 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 시스템 동역학 모델에 의존하지 않고 이벤트 트리거드 제어에서 제어 및 통신 정책을 동시에 학습하기 위해 딥 강화학습(DRL)을 효과적으로 활용할 수 있는가?
• RQ2 정확한 모델이 있는 선형 시스템에서 제안된 DRL 기반 ETC의 성능은 기존의 모델 기반 ETC 방법보다 어떻게 비교되는가?
• RQ3 모델 기반 ETC가 실패하는 매우 낮은 통신 레이트에서도 DRL 접근법이 비선형 시스템을 안정화시킬 수 있는가?
• RQ4 동일한 DRL 프레임워크가 로봇 이동과 같은 복잡하고 고차원적인 작업에 얼마나 널리 적용될 수 있는가?
• RQ5 제어 및 통신의 엔드 투 엔드 학습 방식이 분리 설계 방식보다 통신 효율성과 안정성 측면에서 뛰어나다고 할 수 있는가?

주요 결과

• DRL 기반 ETC 접근법은 25ms 샘플링 시간을 가진 선형 제어 작업에서 최대 90%의 통신 절감을 달성했으며, 타이머 기반 기준보다 뛰어난 성능을 보였다.
• 매우 낮은 평균 통신 레이트 환경에서는 모델 기반 ETC가 실패하는 상황에서도 DRL 방법이 안정화 정책을 발견하여 도전적인 환경에서도 강건성을 입증했다.
• 정확한 모델이 있는 선형 시스템에서는 중간에서 높은 통신 레이트에서 모델 기반 ETC가 여전히 DRL을 능가했으며, 이는 모델 활용의 가치를 확인한다.
• 비선형 이동 제어 작업에서 DRL 방법은 엔드 투 엔드로 제어 및 통신 정책을 학습하는 데 성공했으며, 시뮬레이션 상의 개 로봇에서 약 60%의 통신 절감을 달성했다.
• 훈련 중에 에이전트가 약 10%의 런에서 넘어지기도 했지만, 특수한 보상 설계 없이도 안정적인 이동과 통신 효율성을 달성했다.
• 이 접근법은 일반적이며 작업에 종속되지 않으며, 표준 제어 문제와 3D 4족 보행과 같은 복잡하고 고차원적인 작업 모두에서 타당성을 입증했다.