[논문 리뷰] Reinforcement Learning for Active Flow Control in Experiments

Dixia Fan, Yang Liu외 2명|arXiv (Cornell University)|2020. 03. 06.

Reinforcement Learning in Robotics참고 문헌 17인용 수 9

한 줄 요약

이 논문은 실세계 유체역학에서 강화학습(RL)이 최적의 능동 흐름 제어 전략을 자율적으로 발견할 수 있음을 처음으로 실험적으로 입증한다. 보상 함수와 칼만 필터링을 통한 노이즈 감소를 통해 RL 에이전트는 수십 번의 투링 실험 내에 최적의 정적 제어 수준과 유사한 항력 감소 및 전력 효율성을 달성하였으며, 원형 실린더 뒤의 소용리 방출을 억제하였다.

ABSTRACT

We demonstrate experimentally the feasibility of applying reinforcement learning (RL) in flow control problems by automatically discovering active control strategies without any prior knowledge of the flow physics. We consider the turbulent flow past a circular cylinder with the aim of reducing the cylinder drag force or maximizing the power gain efficiency by properly selecting the rotational speed of two small diameter cylinders, parallel to and located downstream of the larger cylinder. Given properly designed rewards and noise reduction techniques, after tens of towing experiments, the RL agent could discover the optimal control strategy, comparable to the optimal static control. While RL has been found to be effective in recent computer flow simulation studies, this is the first time that its effectiveness is demonstrated experimentally, paving the way for exploring new optimal active flow control strategies in complex fluid mechanics applications.

연구 동기 및 목표

• 실험적 유체역학에 직접 강화학습(RL)을 적용할 수 있는 가능성을 입증하기 위해, 이전의 물리 모델에 의존하지 않고도 가능하도록 하는 것.
• turbulent 난류 블러프 바디 유동에서 항력 감소 및 전력 효율성 향상을 위한 최적의 능동 제어 전략을 학습할 수 있는 모델-프리 RL 프레임워크를 개발하는 것.
• RL이 실세계 실험을 통해 고성능 제어 정책을 발견할 수 있음을 검증하여 정적 제어 최적화의 결과와 동일하거나 근접한 성능을 달성하는 것.
• 실험적 RL을 통한 유동 제어에서 노이즈 감소 기법(예: 칼만 필터링)의 필요성과 효과를 조사하는 것.
• 모의 실험을 초월하여 복잡하고 고차원적인 실험적 유체역학 문제에 RL을 적용할 수 있는 기반을 마련하는 것.

제안 방법

• RL 에이전트는 10 Hz의 주기로 물리적 투링 탱크 설정과 상호작용하며, 6축 로드셀을 통해 실시간으로 상태 피드백(항력 및 항력 계수)을 수신한다.
• 제어 조치는 두 개의 소형 하류 실린더의 회전 속도이며, 비차원화된 회전률 ε = ωd/(2U)로 매개변수화된다.
• 항력과 항력 진동을 최소화하고 전력 효율성을 극대화하는 데 초점을 맞춘 맞춤형 보상 함수가 설계되었다.
• 센서 데이터에 칼만 필터를 적용하여 측정 노이즈를 감소시켜 학습의 안정성과 수렴성을 향상시켰다.
• 알고리즘은 모델-프리 RL 접근법(예: 정책 기반 강화학습 또는 유사 기법)을 사용하며, 각 40초 분량의 실험 에피소드 후에 정책을 갱신한다.
• RL 에이전트와 실험 제어 인터페이스 간의 XML-RPC를 통한 동기화를 통해 실시간 상호작용과 학습이 가능하도록 설계되었다.

실험 결과

연구 질문

• RQ1 강화학습(RL)은 흐름 물리학에 대한 사전 지식 없이 실세계 실험적 유체역학 환경에서 효과적인 능동 흐름 제어 전략을 발견할 수 있는가?
• RQ2 항력 감소 및 전력 효율성 측면에서 RL 기반 제어의 성능은 알려진 최적의 정적 제어 전략과 비교해 어떻게 되는가?
• RQ3 노이즈 감소(예: 칼만 필터링)는 실험적 유동 제어에서 안정적이고 효과적인 RL 학습을 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 RL은 소수의 물리적 실험 내에서 안정적이고 최적의 제어 정책으로 수렴할 수 있는가?
• RQ5 학습된 제어 전략은 블러프 바디 뒤의 난류 유동에서 소용리 방출과 후류 구조에 어떤 영향을 미치는가?

주요 결과

• RL 에이전트는 단 4개의 에피소드 내에 안정적인 제어 전략을 확립하였으며, 주요 실린더의 평균 항력 계수를 음수로 낮추고 평균 항력 계수를 거의 0에 가깝게 유지하였다.
• 10개의 에피소드 후, 에이전트는 소용리 방출을 억제하는 제어 정책을 학습하여 최적의 정적 제어 설정과 유사한 좁고 안정된 후류를 만들어냈다.
• 40번째 에피소드에는 유체역학적 성능과 후류 구조가 최적의 정적 제어와 거의 구분되지 않을 정도로 유사해졌으며, 수렴성과 강건성을 확인하였다.
• 칼만 필터의 사용은 학습의 안정성과 성능을 크게 향상시켜, 노이즈가 많은 실험 환경에서 필수적임을 입증하였다.
• RL 에이전트는 단지 수십 번의 물리적 실험 내에 항력 감소 및 전력 효율성 측면에서 가장 잘 알려진 정적 제어와 유사한 제어 전략을 발견하였으며, 이는 매우 빠른 수렴을 의미한다.
• 결과적으로 모델-프리 RL이 실세계 실험적 유체역학에 성공적으로 적용될 수 있음을 검증하였으며, 이는 고도로 복잡한 제어 전략의 자율적 발견을 열어주는 계기가 되었다.