[논문 리뷰] Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs

Stefan Werner, Sebastian Peitz|arXiv (Cornell University)|2023. 02. 14.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 부분 미분 방정식(PDE) 제어에서 샘플 효율성을 크게 향상시키기 위해 데이터 기반의 구동형 컨volution 레이어 기반 LSTM 대체 모델을 사용하는 모델 기반 강화학습 프레임워크를 제안한다. RL 에이전트와 대체 모델을 함께 훈련하고 오차 누적을 줄이기 위해 반복적으로 모델을 업데이트함으로써, 모델 자유형 방법에 비해 데이터 요구량을 한 단계 낮추는 데 성공했으며, 제거 연구를 통해 온라인 모델 적응과 앙상블 기반 롤아웃의 필요성을 확인하였다.

ABSTRACT

The goal of this paper is to make a strong point for the usage of dynamical models when using reinforcement learning (RL) for feedback control of dynamical systems governed by partial differential equations (PDEs). To breach the gap between the immense promises we see in RL and the applicability in complex engineering systems, the main challenges are the massive requirements in terms of the training data, as well as the lack of performance guarantees. We present a solution for the first issue using a data-driven surrogate model in the form of a convolutional LSTM with actuation. We demonstrate that learning an actuated model in parallel to training the RL agent significantly reduces the total amount of required data sampled from the real system. Furthermore, we show that iteratively updating the model is of major importance to avoid biases in the RL training. Detailed ablation studies reveal the most important ingredients of the modeling process. We use the chaotic Kuramoto-Sivashinsky equation do demonstarte our findings.

연구 동기 및 목표

• 복잡한 PDE에 의해 지배되는 시스템 제어에서 강화학습(RL)의 높은 샘플 복잡도 문제를 해결하기 위해, 이는 종종 수천만에서 수억 개의 환경 상호작용을 요구한다.
• 강화학습 훈련과 병행하여 대체 모델을 학습시킬 경우 샘플 효율적 제어를 위한 데이터 요구량을 크게 줄일 수 있는지 조사하기 위해.
• 모델 오차 누적 현상이 정책 학습에 미치는 영향을 평가하고, 저자료 환경에서 모델 기반 강화학습의 안정성을 높이는 메커니즘을 규명하기 위해.
• 혼돈된 PDE에 대해 모델 기반 강화학습이 반복적 모델 업데이트와 앙상블 롤아웃을 통합한 방법이 모델 자유형 및 단순 모델 기반 기준보다 뛰어난 성능을 보임을 입증하기 위해.
• 대체 모델링이 샘플 효율성 향상에 있어 단지 유익한 것이 아니라 핵심적임을 경험적으로 입증하고 제거 연구를 통해 이를 확인하기 위해.

제안 방법

• 시간에 따른 PDE 상태의 변화를 예측하기 위해 컨volution 레이어 기반 LSTM을 대체 모델로 훈련시키며, 제어 입력을 모델 아키텍처에 직접 통합하여 예측 정확도를 향상시킨다.
• RL 에이전트와 대체 모델을 종합적으로 엔드 투 엔드 방식으로 함께 훈련함으로써, 에이전트가 실제 환경 상호작용에 의존하지 않고 모델 기반 롤아웃을 활용해 정책을 개선할 수 있도록 한다.
• 모델 가중치를 훈련 중에 반복적으로 업데이트하여 편향 누적을 방지하고 오차 누적을 줄이며, 대체 모델이 진짜 시스템 역학과 일치하도록 유지한다.
• 다양한 탐색과 학습 안정성을 높이기 위해 앙상블 기반의 모델 롤아웃을 사용하며, 롤아웃 길이를 점진적으로 증가시키는 커리큘럼 학습 전략을 적용한다.
• 제거 연구를 통해 온라인 모델 업데이트가 없는 경우, 앙성화가 없는 경우, 또는 대체 아키텍처가 다른 경우와의 비교를 통해 핵심 구성 요소를 분리 분석한다.
• 비교적 난류적인 PDE 제어의 기준으로 사용되는 혼돈된 Kuramoto-Sivashinsky 방정식을 대상으로 평가하며, 정책 성능과 일반화 능력을 평가하기 위해 오프라인 평가 지표를 사용한다.

Figure 1: In model-based RL with learned models, collected data serves two purposes. Samples are used to learn a model of the system dynamics and to estimate update targets for the model-free agent. Using rollouts of the agent in the model, algorithms collect additional data to improve their behavio

실험 결과

연구 질문

• RQ1 강화학습 훈련과 병행하여 대체 모델을 학습시킬 경우, PDE 제어의 샘플 효율적 제어를 위한 실제 환경 상호작용 수를 줄일 수 있는가?
• RQ2 반복적 모델 업데이트는 저자료 환경에서 모델 기반 강화학습의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ3 모델 오차 누적 현상이 정책 성능에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ4 앙성 기반 롤아웃과 커리큘럼 학습은 고정 길이 또는 단일 모델 롤아웃에 비해 학습 과정을 얼마나 안정화시키는가?
• RQ5 일반화 능력과 샘플 효율성 측면에서 잔차 기반 대체 모델이 전체 상태 예측 모델보다 우월한가?

주요 결과

• 제안된 모델 기반 강화학습 접근법은 모델 자유형 기준에 비해 전체적으로 필요한 환경 샘플 수를 약 한 단계 낮춘다.
• 반복적 모델 업데이트가 편향 누적을 방지하고 정책 성능을 유지하는 데 필수적임을 확인하였으며, 정적 모델은 불안정한 학습과 열악한 일반화를 유도한다.
• 앙성 기반 롤아웃은 학습 안정성을 크게 향상시키고 분산을 줄이며, 오차를 악용하기 쉬운 단일 모델 롤아웃보다 뛰어난 성능을 보인다.
• 전체 상태 예측을 사용하는 대체 모델 제거 실험은 초기 단계의 지속적인 예측 오차로 인해 실제 시스템으로의 일반화에 실패했으며, 안정적인 수렴조차 이룰 수 없었다.
• 랜덤 탐색만으로는 관련 상태 공간을 충분히 커버할 수 없어, 시간이 지남에 따라 예측 오차가 누적되면서 정책 최적화 과정이 발산하게 된다.
• 온라인 모델 적응, 앙성화, 커리큘럼 학습을 모두 통합한 전체 방법이 가장 안정적이고 높은 성능의 정책을 달성했으며, 시행 간 표준편차도 가장 낮았다.

Figure 2: Our surrogate model is composed of a state encoder $f_{\boldsymbol{\theta}_{\mathrm{enc}}}$ (yellow), an action encoder $f_{\boldsymbol{\psi}_{\mathrm{enc}}}$ (red) and a convolutional LSTM cell $f_{\boldsymbol{\theta}_{\mathrm{fwd}}}$ (green) modeling the transition dynamics, as well as a