[논문 리뷰] Controlling Rayleigh-Bénard convection via Reinforcement Learning

Gerben I. Beintema, Alessandro Corbetta외 2명|TU/e Research Portal|2020. 03. 31.

Model Reduction and Neural Networks참고 문헌 64인용 수 75

한 줄 요약

강화학습이 바닥 경계 온도 조절을 이용해 2D Rayleigh–Bénard 시스템에서 대류를 크게 억제하고, 선형 제어를 능가하며 제어 가능한 Ra 임계값을 증가시킨다.

ABSTRACT

Thermal convection is ubiquitous in nature as well as in many industrial applications. The identification of effective control strategies to, e.g., suppress or enhance the convective heat exchange under fixed external thermal gradients is an outstanding fundamental and technological issue. In this work, we explore a novel approach, based on a state-of-the-art Reinforcement Learning (RL) algorithm, which is capable of significantly reducing the heat transport in a two-dimensional Rayleigh-Bénard system by applying small temperature fluctuations to the lower boundary of the system. By using numerical simulations, we show that our RL-based control is able to stabilize the conductive regime and bring the onset of convection up to a Rayleigh number $Ra_c \approx 3 \cdot 10^4$, whereas in the uncontrolled case it holds $Ra_{c}=1708$. Additionally, for $Ra > 3 \cdot 10^4$, our approach outperforms other state-of-the-art control algorithms reducing the heat flux by a factor of about $2.5$. In the last part of the manuscript, we address theoretical limits connected to controlling an unstable and chaotic dynamics as the one considered here. We show that controllability is hindered by observability and/or capabilities of actuating actions, which can be quantified in terms of characteristic time delays. When these delays become comparable with the Lyapunov time of the system, control becomes impossible.

연구 동기 및 목표

• 열에 의해 유도되는 흐름과 Rayleigh–Bénard 대류에서의 열 전달 제어를 동기화한다.
• 고정된 Rayleigh 수에서 대류를 억제하기 위한 활성 제어 전략을 개발하고 비교한다.
• RL 기반 제어가 높은 Rayleigh 영역에서 선형 제어보다 우수하다는 것을 입증한다.
• 혼돈 시스템에서 관측성과 작용 지연으로 인한 제어 가능성의 이론적 한계를 탐구한다.

제안 방법

• BGK 형태의 격자볼츠만법으로 2D Rayleigh–Bénard 시스템을 모델링한다(속도: D2Q9, 온도: D2Q4).
• 하한 경계의 온도 변동을 제한된 진폭으로 적용하여 제어를 정의한다.
• 선형 PD 제어와 바닥 경계 온도 프로파일을 출력하는 RL 기반 제어를 비교한다.
• 격자 위의 온도/속도 프로브로 구성된 상태 공간을 사용하여 PPO RL 프레임워크에서 MLP 기반 정책에 공급한다.
• 제어를 10개 구간의 조각별로 상수 온도 프로필로 이산화하고, 제약 조건을 만족하도록 이진 수준으로 정규화한다.
• 성능은 시간 평균 Nu와 그 순간 형태 Nu_inst를 통해 평가한다.

실험 결과

연구 질문

• RQ1 RL 기반 제어가 고정 Rayleigh 수에서 RBC의 대류 열 전달을 선형 제어 방법보다 더 효과적으로 감소시킬 수 있는가?
• RQ2 RL 대 선형 제어하에서 달성 가능한 임계 Rayleigh 수의 증가 폭은 얼마인가?
• RQ3 제어 지연과 관측가능성이 혼돈 영역에서 RBC의 안정화 또는 억제 가능성에 어떤 영향을 미치는가?
• RQ4 RL 제어하에서 나타나는 흐름 구조가 열 전달 감소로 이어지는가?

주요 결과

• RL 제어가 임계 Rayleigh 수를 대략 1e3(제어되지 않음)에서 대략 1e4(선형) 및 대략 3e4(RL)로 증가시킨다.
• Ra > 3e4일 때 RL 제어는 시간 평균 Nu를 제어되지 않은 경우에 비해 약 2.5만큼 감소시키고, 1e6 미만의 Ra에서는 선형 방법이 약 1.5 감소를 달성하는 것을 능가한다.
• RL 제어는 Ra ~ 3e4까지 전도 상태를 안정시키며, 더 높은 Ra에서는 선형 제어의 전형인 주기적 흐름이 아니라 정지 또는 감소된 Nu를 달성한다.
• RL은 이중-세포(double-cell) 유사한 흐름 구성을 유도하여 대류 구조를 수정함으로써 열 전달을 효과적으로 감소시키며, Ra ~ 1e5까지 관찰되며 Ra ~ 1e6에서는 효과가 감소하더라도 여전히 존재한다.
• 학습 시간은 Ra에 따라 달라지며, Ra ≲ 1e5인 경우 V100에서 1시간 이내, Ra ≳ 1e6인 경우 약 150시간에 이르는 경우가 있다.