[논문 리뷰] Advanced deep-reinforcement-learning methods for flow control: group-invariant and positional-encoding networks improve learning speed and quality

Joogoo Jeon, Jean Rabault외 4명|arXiv (Cornell University)|2024. 07. 25.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 다중 에이전트 강화학습(MARL) 환경 내에서 군 불변 신경망(GI-NNs)과 위치 인코딩을 통합한 새로운 딥 강화학습(DRL) 프레임워크를 제안한다. 공간 대칭성 불변성과 위치 인식 표현을 강제로 통합함으로써, 이 방법은 학습 속도를 50% 향상시키고, 레이놀즈-베나르 대류 시뮬레이션에서 나우젤 수를 최대 15% 감소시켜 정책 품질을 향상시킨다.

ABSTRACT

Flow control is key to maximize energy efficiency in a wide range of applications. However, traditional flow-control methods face significant challenges in addressing non-linear systems and high-dimensional data, limiting their application in realistic energy systems. This study advances deep-reinforcement-learning (DRL) methods for flow control, particularly focusing on integrating group-invariant networks and positional encoding into DRL architectures. Our methods leverage multi-agent reinforcement learning (MARL) to exploit policy invariance in space, in combination with group-invariant networks to ensure local symmetry invariance. Additionally, a positional encoding inspired by the transformer architecture is incorporated to provide location information to the agents, mitigating action constraints from strict invariance. The proposed methods are verified using a case study of Rayleigh-Bénard convection, where the goal is to minimize the Nusselt number Nu. The group-invariant neural networks (GI-NNs) show faster convergence compared to the base MARL, achieving better average policy performance. The GI-NNs not only cut DRL training time in half but also notably enhance learning reproducibility. Positional encoding further enhances these results, effectively reducing the minimum Nu and stabilizing convergence. Interestingly, group invariant networks specialize in improving learning speed and positional encoding specializes in improving learning quality. These results demonstrate that choosing a suitable feature-representation method according to the purpose as well as the characteristics of each control problem is essential. We believe that the results of this study will not only inspire novel DRL methods with invariant and unique representations, but also provide useful insights for industrial applications.

연구 동기 및 목표

• 비선형적이고 고차원적인 유체 시스템에서 전통적인 유체 제어의 한계를 해결한다.
• 유체 역학의 복잡한 시스템에 대한 딥 강화학습 에이전트 훈련 과제를 극복하기 위해 인덕티브 바이어스를 통합한다.
• 대칭성 인식 및 위치 인식 신경망 아키텍처를 통해 샘플 효율성과 정책 성능을 향상시켜 유체 제어를 개선한다.
• DRL 기반 유체 제어에서 군 불변성(속도 향상)과 위치 인코딩(품질 향상)의 상호보완적 역할을 조사한다.
• 측정 가능한 수렴 및 성능 향상으로, 표준 레이놀즈-베나르 대류 벤치마크에서 제안된 방법의 효과성을 입증한다.

제안 방법

• 유체 영역 전역에서 정책의 공간 불변성을 활용하기 위해 다중 에이전트 강화학습(MARL)을 적용한다.
• 공간 변환에 대해 표현이 등변하는 것을 보장하기 위해 국소 대칭성 불변성을 강제로 적용하는 군 불변 신경망(GI-NNs)을 통합한다.
• 트랜스포머 아키텍처에서 영감을 얻어 에이전트의 관측에 공간적 위치 정보를 통합하기 위해 위치 인코딩을 적용한다.
• GI-NNs와 위치 인코딩을 공유된 DRL 백본에 통합하여 불변성과 표현력의 균형을 맞춘다.
• 나우젤 수 최소화를 목표로 보상 함수를 설계한 후, Proximal Policy Optimization(PPO)를 사용해 DRL 에이전트를 훈련시킨다.
• 유체 시뮬레이션을 위해 유한차분 기반의 2D 레이놀즈-베나르 대류 설정을 환경으로 사용한다.

실험 결과

연구 질문

• RQ1 군 불변 신경망(GI-NNs)은 비선형 유체 흐름 제어에서 DRL 에이전트의 샘플 효율성과 수렴 속도를 향상시킬 수 있는가?
• RQ2 위치 인코딩은 고차원 유체 시스템에서 DRL 에이전트의 정책 품질과 안정성에 어느 정도 기여하는가?
• RQ3 다중 에이전트 DRL 프레임워크에서 군 불변성과 위치 인코딩은 어떻게 상호작용하는가?
• RQ4 대칭성과 위치 인식 표현의 통합은 더 재현 가능하고 강건한 학습 결과를 이끌어내는가?
• RQ5 제안된 방법은 레이놀즈-베나르 대류에서 표준 MARL 기반 모델 대비 더 낮은 나우젤 수를 달성할 수 있는가?

주요 결과

• 군 불변 신경망(GI-NNs)은 기본 MARL 기반 모델 대비 DRL 훈련 시간을 약 50% 감소시켰다.
• GI-NNs는 평균 정책 성능이 향상되었으며, 학습의 재현성 향상에 기여했다.
• 위치 인코딩은 GI-NN 기반 모델 대비 최소 나우젤 수를 최대 15% 감소시켰다.
• GI-NNs와 위치 인코딩의 조합은 수렴 안정성 향상과 다수의 훈련 런에 걸친 강건성 향상을 이끌었다.
• GI-NNs는 학습 속도 향상에 특화되었고, 위치 인코딩은 정책 품질 향상과 최종 성능 향상에 특화되었다.
• 결과는 대칭성과 위치 인식이라는 구조적 인덕티브 바이어스가 유체역학에서 효율적이고 효과적인 DRL을 위해 핵심적이라는 것을 입증한다.