[論文レビュー] A Survey on Physics Informed Reinforcement Learning: Review and Open Problems

Chayan Banerjee, Kien Nguyen+2 more|arXiv (Cornell University)|Sep 5, 2023

Muscle activation and electromyography studies被引用数 4

ひとこと要約

本稿は、物理則を組み込んだ強化学習（PIRL）に関する包括的なサーベイを提示し、物理的事前知識の表現、統合戦略、学習バイアスの観点からPIRL手法を分類する、新しい分類法を提案する。最先端の手法をレビューし、データ効率性、安全性、ベンチマーク評価における主な課題を特定し、将来的な研究を導くために、よりデータ効率的で物理的に妥当性があり、実世界のシステムに適用可能なRLの発展を促進するための未解決問題を提示する。

ABSTRACT

The inclusion of physical information in machine learning frameworks has revolutionized many application areas. This involves enhancing the learning process by incorporating physical constraints and adhering to physical laws. In this work we explore their utility for reinforcement learning applications. We present a thorough review of the literature on incorporating physics information, as known as physics priors, in reinforcement learning approaches, commonly referred to as physics-informed reinforcement learning (PIRL). We introduce a novel taxonomy with the reinforcement learning pipeline as the backbone to classify existing works, compare and contrast them, and derive crucial insights. Existing works are analyzed with regard to the representation/ form of the governing physics modeled for integration, their specific contribution to the typical reinforcement learning architecture, and their connection to the underlying reinforcement learning pipeline stages. We also identify core learning architectures and physics incorporation biases (i.e., observational, inductive and learning) of existing PIRL approaches and use them to further categorize the works for better understanding and adaptation. By providing a comprehensive perspective on the implementation of the physics-informed capability, the taxonomy presents a cohesive approach to PIRL. It identifies the areas where this approach has been applied, as well as the gaps and opportunities that exist. Additionally, the taxonomy sheds light on unresolved issues and challenges, which can guide future research. This nascent field holds great potential for enhancing reinforcement learning algorithms by increasing their physical plausibility, precision, data efficiency, and applicability in real-world scenarios.

研究の動機と目的

• 強化学習に物理法則を統合する需要の増大に対応し、データ効率性、一般化性能、実世界応用可能性を向上させること。
• 観測的、帰納的、学習ベースのバイアスを含む、物理的事前知識がRLパイプラインに統合される多様な方法を特定・体系化すること。
• 物理的表現、統合戦略、学習アーキテクチャの観点からPIRL手法を分類する統一された分類法を提供すること。
• 高次元状態空間、不確実な環境における安全な探索、標準化されたベンチマークの欠如といった未解決の課題を強調すること。
• 特にモデルに依存しない安全性と一般化された物理的事前知識を組み込んだ学習の分野における、未解決の問題と機会を特定し、将来的な研究を導くこと。

提案手法

• 強化学習パイプラインを骨格として用い、物理的事前知識の種別、表現形態、統合戦略の3軸に沿ってPIRL手法を分類する、新しい分類法を提案する。
• 観測的（例：物理的制約を監視信号として使用）、帰納的（例：ネットワークアーキテクチャに物理的知識を埋め込む）、学習ベースの（例：物理的に整合する損失関数で学習）の3つの物理統合バイアスに基づき、PIRLアプローチを分類する。
• 統一された記法と機能図を用いて、最先端のPIRL手法のアーキテクチャ、物理統合方法、訓練手順を比較する。
• シミュレーションから実世界への転送性と安全な探索を向上させるために、物理的制約に基づく世界モデル、報酬関数、バリア証明（例：データ駆動型CBF）の使用を分析する。
• PIRLで使用される既存のベンチマークと訓練環境（カスタムシミュレータ、PyBullet、MATLAB-Simulink、MOCAPベースのプラットフォームなど）を評価する。
• PIRLアルゴリズム間の公平な比較を妨げる、標準化されたオープンソースベンチマークの欠如を指摘し、評価のギャップを特定する。

Figure 2 : Agent-environment framework, of RL paradigm. Here the reward generating function and the system/ plant is abstracted as the environment. And the control policy (e.g. a DNN) and the learning algorithm, forms the RL agent.

実験結果

リサーチクエスチョン

• RQ1 物理的事前知識は、どのように体系的に強化学習パイプラインに分類され統合され、学習効率性と物理的妥当性が向上するのか？
• RQ2 物理情報の統合に主に用いられる戦略（観測的、帰納的、学習ベース）は何か？それぞれの有効性と実装方法の違いは何か？
• RQ3 高次元連続制御タスクへのPIRL適用における主な課題は何か？物理的ガイド付き表現学習はそれらをどのように緩和できるか？
• RQ4 物理的ガイド付き手法は、モデルが不完全な状況下でも、複雑で不確実な環境での安全な探索をどのように保証できるか？
• RQ5 なぜPIRL分野には標準化されたベンチマークが存在しないのか？統一された評価プラットフォームは、分野の進展をどのように加速できるか？

主な発見

• 過去6年間でPIRL関連論文の数は指数関数的に増加しており、研究トレンドの上昇と物理的事前知識を組み込んだ手法への関心の高まりを示している。
• 物理的事前知識を組み込んだ世界モデルと報酬関数は、データ効率性とシミュレーションから実世界への転送性を顕著に向上させ、高価な実世界訓練の必要性を低減する。
• 物理的制約に基づくデータ駆動型バリア証明は安全な探索を可能にするが、タスク間での一般化性は依然として限定的である。
• 高次元空間における表現学習は物理的ガイド付き特徴抽出によって恩恵を受けるが、物理的に意味のある低次元表現を学習することは未解決の課題のままである。
• 標準化されたベンチマークと評価プラットフォームの欠如が、異なる分野におけるPIRL手法の公平な比較と再現可能性を阻害している。
• 現在のPIRLアプローチは非常にタスク特化的であり、顕著な分野知識を要するため、一般化可能でモデルに依存しない物理統合フレームワークの構築が急務である。

Figure 3 : Typical RL architectures, based on model use and interaction with the environment.