[논문 리뷰] Exploiting locality and physical invariants to design effective Deep Reinforcement Learning control of the unstable falling liquid film

Vincent Belus, Jean Rabault외 4명|arXiv (Cornell University)|2019. 10. 17.

Fluid Dynamics and Turbulent Flows참고 문헌 5인용 수 4

한 줄 요약

이 논문은 1차원 낙하 액막에서 불안정한 인터페이셜 파동을 제어하기 위해 이동 불변성과 공간 국소성을 활용한 새로운 딥 강화학습(DRL) 접근법을 제시한다. 밀도 있고 국소적인 보상 함수를 갖춘 컨볼루션 DRL 에이전트를 설계함으로써, 높은 출력 제어 공간에서의 차원의 극복 문제를 해결하고 임의의 수의 액추에이터를 효율적으로 제어하며, 비례 보상 또는 희박한 보상 기반의 기준선 대비 뛰어난 성능을 보이는 빠르고 안정적인 학습을 가능하게 한다.

ABSTRACT

Instabilities arise in a number of flow configurations. One such manifestation is the development of interfacial waves in multiphase flows, such as those observed in the falling liquid film problem. Controlling the development of such instabilities is a problem of both academic and industrial interest. However, this has proven challenging in most cases due to the strong nonlinearity and high dimensionality of the underlying equations. In the present work, we successfully apply Deep Reinforcement Learning (DRL) for the control of the one-dimensional (1D) depth-integrated falling liquid film. In addition, we introduce for the first time translational invariance in the architecture of the DRL agent, and we exploit locality of the control problem to define a dense reward function. This allows to both speed up learning considerably, and to easily control an arbitrary large number of jets and overcome the curse of dimensionality on the control output size that would take place using a naive approach. This illustrates the importance of the architecture of the agent for successful DRL control, and we believe this will be an important element in the effective application of DRL to large two-dimensional (2D) or three-dimensional (3D) systems featuring translational, axisymmetric or other invariants.

연구 동기 및 목표

• 불안정한 낙하 액막을 효과적으로 제어하기 위한 DRL 제어 전략을 개발하는 것, 이는 강한 비선형성과 고차원성의 유체역학 문제이다.
• 많은 액추에이터를 제어할 때 DRL 제어의 차원의 극복 문제를 물리적 불변성과 공간 국소성을 활용하여 해결하는 것.
• 세밀한 피드백을 제공하는 국소적이고 밀도 있는 보상 함수를 설계하여 학습 효율성과 정책 품질을 향상시키는 것.
• 특히 이동 불변성과 국소성과 같은 아키텍처 설계가 물리계에서 DRL 성능에 미치는 영향을 입증하는 것.
• 유사한 대칭성과 공간 구조를 갖는 2차원 및 3차원 복잡한 유체계에 적용 가능한 확장 가능하고 일반화 가능한 DRL 제어를 가능하게 하는 것.

제안 방법

• 이미지 처리에서 CNN과 유사하게 공간 위치 간의 일반화를 가능하게 하기 위해, 이동 불변성을 명시적으로 강제하는 컨볼루션 DRL 에이전트 아키텍처를 도입한다.
• 각 액추에이터 위치에서 제어 성능을 평가하는 국소적이고 밀도 있는 보상 함수를 설계하여, 전역 평균화 대신 세밀한 피드백을 제공한다.
• 정확하고 효율적인 시뮬레이션을 위해 낙하 액막의 1차원 깊이 통합 모델을 사용하고, 반음성 유한체적 방법을 적용한다.
• 지속적인 제어 환경에서 DRL 에이전트를 훈련하기 위해, 커스터마이징된 OpenAI Gym 환경과 함께 Proximal Policy Optimization(PPO)를 사용한다.
• 다양한 제어 전략을 적용: M1(전역 보상), M2(희박한 보상), M3(밀도 있고 국소적인 보상)를 비교하여 학습 효율성과 정책 품질을 평가한다.
• 환경 분할과 병렬 시뮬레이션을 통해 여러 CPU에 걸쳐 훈련을 스케일링하여, 빠른 프로토타이핑과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 강한 비선형성과 고차원성에도 불구하고 DRL이 불안정한 낙하 액막을 효과적으로 제어할 수 있는가?
• RQ2 DRL 에이전트 아키텍처에 이동 불변성을 통합할 경우 학습 속도와 정책 성능에 어떤 영향을 미치는가?
• RQ3 희박하거나 전역 보상 대비 밀도 있고 국소적인 보상 함수를 사용할 경우 학습 효율성과 제어 정확도는 얼마나 향상되는가?
• RQ4 출력 공간에서의 차원의 극복 문제 없이, 임의의 수의 액추에이터를 제어할 수 있는가?
• RQ5 컨볼루션 구조나 보상 밀도와 같은 아키텍처 선택이 물리계에서 DRL의 확장성과 강건성에 어떤 영향을 미치는가?

주요 결과

• 이동 불변성과 밀도 있는 국소적 보상 함수를 갖춘 제안된 DRL 방법은 전역 보상 또는 희박한 보상 기반의 기준선 대비 빠르고 안정적인 학습을 달성한다.
• 컨볼루션 DRL 에이전트는 임의의 수의 액추에이터를 성공적으로 제어하여 제어 출력 공간에서의 차원의 극복 문제를 효과적으로 해결한다.
• 밀도 있는 보상 함수는 개별 액추에이터 위치에서 효과적인 행동과 비효율적인 행동을 구분할 수 있도록 세밀한 피드백을 제공한다.
• M3(밀도 있는 보상) 전략은 M1과 M2보다 학습 속도와 최종 정책 품질 모두에서 뛰어난 성능을 보이며, 고차원 제어에서 국소 피드백의 중요성을 입증한다.
• 아키텍처의 이동에 대한 불변성 덕분에 에이전트는 공간 위치 간에 일반화할 수 있으며, 이는 샘플 복잡도 감소와 성능 향상을 이끈다.
• 이 방법은 확장 가능하고 확장성이 있으며, 유사한 물리적 불변성과 국소성 구조를 갖는 복잡한 2차원 및 3차원 유체계에 응용 가능성이 있다.