[논문 리뷰] A Survey on Physics Informed Reinforcement Learning: Review and Open Problems

Chayan Banerjee, Kien Nguyen외 2명|arXiv (Cornell University)|2023. 09. 05.

Muscle activation and electromyography studies인용 수 4

한 줄 요약

이 논문은 물리 법칙을 통합한 강화학습(PIRL)에 대한 종합적인 서베이를 제시하며, 물리 사전 지식 표현, 통합 전략, 학습 편향을 기반으로 한 새로운 분류 체계를 도입한다. 최신 기법들을 검토하고, 샘플 효율성, 안전성, 벤치마킹과 관련된 핵심 과제를 밝히며, 향후 연구를 이끌기 위해 데이터 효율적이고 물리적으로 타당하며 실제 시스템에 적용 가능한 강화학습 개발을 위한 열린 문제들을 제시한다.

ABSTRACT

The inclusion of physical information in machine learning frameworks has revolutionized many application areas. This involves enhancing the learning process by incorporating physical constraints and adhering to physical laws. In this work we explore their utility for reinforcement learning applications. We present a thorough review of the literature on incorporating physics information, as known as physics priors, in reinforcement learning approaches, commonly referred to as physics-informed reinforcement learning (PIRL). We introduce a novel taxonomy with the reinforcement learning pipeline as the backbone to classify existing works, compare and contrast them, and derive crucial insights. Existing works are analyzed with regard to the representation/ form of the governing physics modeled for integration, their specific contribution to the typical reinforcement learning architecture, and their connection to the underlying reinforcement learning pipeline stages. We also identify core learning architectures and physics incorporation biases (i.e., observational, inductive and learning) of existing PIRL approaches and use them to further categorize the works for better understanding and adaptation. By providing a comprehensive perspective on the implementation of the physics-informed capability, the taxonomy presents a cohesive approach to PIRL. It identifies the areas where this approach has been applied, as well as the gaps and opportunities that exist. Additionally, the taxonomy sheds light on unresolved issues and challenges, which can guide future research. This nascent field holds great potential for enhancing reinforcement learning algorithms by increasing their physical plausibility, precision, data efficiency, and applicability in real-world scenarios.

연구 동기 및 목표

• 강화학습에 물리 법칙을 통합하여 샘플 효율성, 일반화 능력, 실세계 적용 가능성을 향상시키기 위한 증가하는 필요성을 해결하기 위해.
• 관측, 유도, 학습 기반 편향을 포함한 다양한 방식으로 물리 사전 지식이 강화학습 파이프라인에 통합되는 방식을 식별하고 체계화하기 위해.
• 물리 표현, 통합 전략, 학습 아키텍처를 기반으로 PIRL 방법을 통합하는 분류 체계를 제공하기 위해.
• 고차원 상태 공간, 불확실한 환경에서의 안전한 탐색, 표준화된 벤치마크 부족과 같은 해결되지 않은 과제들을 부각하기 위해.
• 특히 모델에 종속되지 않는 안전성 및 일반화된 물리 법칙 기반 학습을 위한 열린 문제와 기회를 식별하여 향후 연구를 이끌기 위해.

제안 방법

• 강화학습 파이프라인을 기반으로 하여 물리 사전 지식 유형, 표현 형태, 통합 전략을 축으로 하는 새로운 분류 체계를 제안하여 PIRL 방법을 분류한다.
• 관측(예: 물리적 제약 조건을 감독 신호로 사용), 유도(예: 물리 법칙을 네트워크 아키텍처에 통합), 학습 기반(예: 물리 일관성 있는 손실 함수로 학습)의 세 가지 물리 통합 편향 기반으로 PIRL 접근 방식을 분류한다.
• 통일된 표기법과 기능 다이어그램을 사용하여 최신 PIRL 기법들을 비교 분석하여 아키텍처, 물리 통합 방식, 학습 절차를 검토한다.
• 시뮬레이션에서 실제 환경으로의 전이 향상과 안전한 탐색을 위해 물리 법칙 기반 세계 모델, 보상 함수, 장벽 증명서(예: 데이터 기반 CBF)의 사용을 분석한다.
• PIRL에서 사용되는 기존의 벤치마크와 학습 환경을 평가하며, 커스텀 시뮬레이터, PyBullet, MATLAB-Simulink, MOCAP 기반 플랫폼을 포함한다.
• PIRL 알고리즘 간 공정한 비교가 어려운 점을 지적하기 위해 표준화되고 오픈소스인 벤치마크 부족 문제를 평가한다.

Figure 2 : Agent-environment framework, of RL paradigm. Here the reward generating function and the system/ plant is abstracted as the environment. And the control policy (e.g. a DNN) and the learning algorithm, forms the RL agent.

실험 결과

연구 질문

• RQ1 물리 사전 지식는 어떻게 체계적으로 강화학습 파이프라인에 분류하고 통합할 수 있으며, 이를 통해 학습 효율성과 물리적 타당성을 향상시킬 수 있는가?
• RQ2 물리 정보를 통합하는 데 주로 사용되는 전략은 관측, 유도, 학습 기반 중 어느 것이며, 각 전략의 효과성과 구현 방식은 어떻게 다를 수 있는가?
• RQ3 고차원적이고 연속적인 제어 작업에 PIRL를 적용할 때의 핵심 과제는 무엇이며, 물리 법칙 기반 표현 학습은 이를 어떻게 완화할 수 있는가?
• RQ4 시스템 모델이 불완전한 환경에서 물리 법칙 기반 방법은 어떻게 안전한 탐색을 보장할 수 있는가?
• RQ5 PIRL에서 표준화된 벤치마크가 부족한 이유는 무엇이며, 통합된 평가 플랫폼은 어떻게 분야의 진전을 가속화할 수 있는가?

주요 결과

• 최근 6년간 PIRL 논문의 수는 기하급수적으로 증가하여 연구 트렌드가 급격히 상승하고 있으며, 물리 법칙 기반 방법에 대한 관심이 증가하고 있음을 시사한다.
• 물리 법칙 기반 세계 모델과 보상 함수는 샘플 효율성과 시뮬레이션에서 실제 환경으로의 전이를 크게 향상시켜 고비용의 실제 환경 학습이 필요로 하는 정도를 줄인다.
• 물리적 제약 조건에 기반한 데이터 기반 장벽 증명서는 더 안전한 탐색을 가능하게 하지만, 작업 간 일반화 능력은 여전히 제한되어 있다.
• 고차원 공간에서의 표현 학습은 물리 법칙 기반 특징 추출에 유의미한 이점을 제공하지만, 물리적으로 의미 있는 저차원 표현을 학습하는 것은 여전히 열린 과제이다.
• 표준화된 벤치마크와 평가 플랫폼의 부재는 다양한 도메인 간 PIRL 방법의 공정한 비교와 재현 가능성을 저해한다.
• 현재 PIRL 접근 방식은 매우 작업에 종속되어 있으며, 상당한 도메인 전문 지식이 필요하므로, 일반화 가능하고 모델에 종속되지 않는 물리 통합 프레임워크 개발이 절실한 상황이다.

Figure 3 : Typical RL architectures, based on model use and interaction with the environment.