[논문 리뷰] Symmetry reduction for deep reinforcement learning active control of chaotic spatiotemporal dynamics

Kevin Zeng, Michael D. Graham|arXiv (Cornell University)|2021. 04. 09.

Model Reduction and Neural Networks참고 문헌 39인용 수 33

한 줄 요약

이 논문은 카우르모토-시바시크스 방정식을 시험대상으로 삼아, 혼돈적인 시공간 시스템에서 데이터 효율성과 제어 성능을 향상시키기 위해 대칭성 감소를 고려한 딥 강화학습(강화학습)을 제안한다. 상태-행동 공간을 대칭성에 불변인 다양체로 투영함으로써, 학습 속도를 향상시키고, 비강제 시스템과 연결된 평형 상태를 안정화하며, 노이즈와 매개변수 변화에 대한 강건성을 확보한다.

ABSTRACT

Deep reinforcement learning (RL) is a data-driven, model-free method capable of discovering complex control strategies for macroscopic objectives in high-dimensional systems, making its application towards flow control promising. Many systems of flow control interest possess symmetries that, when neglected, can significantly inhibit the learning and performance of a naive deep RL approach. Using a test-bed consisting of the Kuramoto-Sivashinsky Equation (KSE), equally spaced actuators, and a goal of minimizing dissipation and power cost, we demonstrate that by moving the deep RL problem to a symmetry-reduced space, we can alleviate limitations inherent in the naive application of deep RL. We demonstrate that symmetry-reduced deep RL yields improved data efficiency as well as improved control policy efficacy compared to policies found by naive deep RL. Interestingly, the policy learned by the the symmetry aware control agent drives the system toward an equilibrium state of the forced KSE that is connected by continuation to an equilibrium of the unforced KSE, despite having been given no explicit information regarding its existence. I.e., to achieve its goal, the RL algorithm discovers and stabilizes an equilibrium state of the system. Finally, we demonstrate that the symmetry-reduced control policy is robust to observation and actuation signal noise, as well as to system parameters it has not observed before.

연구 동기 및 목표

• 고차원적이고 대칭성을 지닌 혼돈적인 시스템에서 단순한 딥 강화학습의 열악한 데이터 효율성과 성능 한계를 해결하기 위해.
• 대칭성 인식 강화학습이 혼돈적인 시공간 역학에서 평형점을 탐색하고 안정화할 수 있는지 조사하기 위해.
• 시스템의 연속적 및 이산적 대칭성을 활용해 상태 공간을 축소함으로써 제어 정책의 효율성을 향상시키기 위해.
• 학습 중에 관측되지 않은 노이즈와 시스템 매개변수 변화에 대한 대칭성 감소 정책의 강건성을 평가하기 위해.
• 대칭성 감소가 평형 상태에 대한 사전 지식 없이도 비트리비얼한 제어 전략을 발견할 수 있음을 보여주기 위해.

제안 방법

• 카우르모토-시바시크스 방정식(KSE)의 연속 이동 대칭성과 이산 반사 대칭성을 활용해 시스템의 상태와 행동을 대칭성 감소 공간으로 투영한다.
• 딥 Q넷(DQN) 에이전트를 대칭성 감소 상태-행동 공간에서 학습시켜 시간 평균 소산과 제어 비용을 최소화한다.
• 대칭성으로 인해 중복되는 역학적 상태를 제거하기 위해 좌표 변환을 통해 대칭성 감소를 구현한다.
• 고소산과 제어 에너지를 방지하는 보상 함수를 사용하여 저소산 상태를 장려한다.
• 신경망 아키텍처에 명시적인 대칭 제약 조건을 도입하지 않고, 대신 감소된 상태 공간을 통해 암묵적으로 불변성을 확보한다.
• 학습 중에 관측되지 않은 관측 노이즈, 제어 노이즈, 매개변수 변화를 포함한 강건성 테스트를 실시한다.

실험 결과

연구 질문

• RQ1 딥 강화학습에서 대칭성 감소가 혼돈적인 시공간 시스템에서 데이터 효율성과 제어 성능을 향상시킬 수 있는가?
• RQ2 대칭성 인식 강화학습은 강제 KSE의 평형 상태를 탐색하고 안정화하는가? 이 평형 상태는 비강제 시스템의 평형 상태와 연결되어 있는가?
• RQ3 수렴 속도와 최종 성능 측면에서 대칭성 감소 정책은 단순한 딥 강화학습보다 어떻게 비교되는가?
• RQ4 관측 및 제어 신호의 노이즈에 대해 대칭성 감소 정책은 강건한가?
• RQ5 학습 중에 경험하지 못한 시스템 매개변수에 대해 정책은 일반화 가능한가?

주요 결과

• 대칭성 감소를 고려한 딥 강화학습은 KSE 제어에서 단순한 딥 강화학습에 비해 더 빠른 수렴과 향상된 데이터 효율성을 달성한다.
• 대칭성 인식 에이전트는 이에 대한 사전 정보 없이도 비강제 KSE의 평형 상태와 연결된 상태를 안정화한다.
• 학습된 정책은 제어되지 않은 동역학에 비해 시간 평균 소산을 50퍼센트 이상 감소시키며, 단순한 강화학습 정책보다 뛰어난 성능을 보인다.
• 10퍼센트의 관측 노이즈와 10퍼센트의 제어 노이즈 하에서도 정책은 효과적으로 유지되며, 강건성을 입증한다.
• 학습 범위를 초월한 시스템 매개변수(예: 강제력의 진폭)에 대해서도 정책은 일반화되며, 강력한 일반화 능력을 보인다.
• 이 방법은 평형 상태를 안정화하는 비트리비얼한 제어 전략을 발견할 수 있으며, 복잡한 유체역학에서 탐색 도구로서의 유용성을 시사한다.