[論文レビュー] Progress and summary of reinforcement learning on energy management of MPS-EV

Jincheng Hu, Lin Yang+5 more|arXiv (Cornell University)|Nov 8, 2022

Electric Vehicles and Infrastructure被引用数 4

ひとこと要約

本稿は、マルチパワーソース電気自動車（MPS-EVs）における強化学習（RL）ベースのエネルギー管理戦略（RL-EMS）について包括的レビューと体系的分析を提供する。アルゴリズム、センシングと意思決定方式、報酬関数、トレーニング手法といった主要な設計要素を検討し、先進的なRL技術と現在のRL-EMS応用との間のギャップを特定するとともに、AIの高度な統合に向けた今後の方向性を提案する。

ABSTRACT

The high emission and low energy efficiency caused by internal combustion engines (ICE) have become unacceptable under environmental regulations and the energy crisis. As a promising alternative solution, multi-power source electric vehicles (MPS-EVs) introduce different clean energy systems to improve powertrain efficiency. The energy management strategy (EMS) is a critical technology for MPS-EVs to maximize efficiency, fuel economy, and range. Reinforcement learning (RL) has become an effective methodology for the development of EMS. RL has received continuous attention and research, but there is still a lack of systematic analysis of the design elements of RL-based EMS. To this end, this paper presents an in-depth analysis of the current research on RL-based EMS (RL-EMS) and summarizes the design elements of RL-based EMS. This paper first summarizes the previous applications of RL in EMS from five aspects: algorithm, perception scheme, decision scheme, reward function, and innovative training method. The contribution of advanced algorithms to the training effect is shown, the perception and control schemes in the literature are analyzed in detail, different reward function settings are classified, and innovative training methods with their roles are elaborated. Finally, by comparing the development routes of RL and RL-EMS, this paper identifies the gap between advanced RL solutions and existing RL-EMS. Finally, this paper suggests potential development directions for implementing advanced artificial intelligence (AI) solutions in EMS.

研究の動機と目的

• マルチパワーソース電気自動車（MPS-EVs）における強化学習ベースのエネルギー管理戦略（RL-EMS）の設計要素を体系的に分析すること。
• 先進的なRLアルゴリズム、センシング方式、意思決定メカニズム、報酬関数、および革新的なトレーニング手法がEMSのパフォーマンス向上に果たす役割を評価すること。
• 最先端のRLソリューションとMPS-EVsにおける現在のRL-EMS実装との間のギャップを特定すること。
• エネルギー管理システムへの高度な人工知能の統合を促進するための実行可能な開発方向を提案すること。

提案手法

• 2010年から2022年までの間に発表された142件のRL-EMS研究を対象とした構造的レビューを実施し、アルゴリズム的、センシング的、意思決定的、報酬的、トレーニング手法的側面に焦点を当てる。
• EMSに用いられるRLアルゴリズムを、ディープQネットワーク（DQN）、プロキシマルポリシーオプティマイゼーション（PPO）、ディープデターミニスティックポリシーグラデント（DDPG）、およびその他のディープRL手法に分類する。
• 状態観測方法に基づいてセンシング方式を分析し、完全状態、部分状態、センサー駆動入力に分類する。
• 意思決定方式をオンライン制御とオフライン制御戦略に分類し、リアルタイム適用性に重点を置く。
• 報酬関数を燃料効率、エネルギー効率、および統合的目標に分類し、設計上のトレードオフを強調する。
• カリキュラム学習、トランスファーラーニング、マルチエージェントトレーニングなどの革新的トレーニング手法をレビューし、収束性およびパフォーマンスへの影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるRLアルゴリズムは、MPS-EVsにおけるエネルギー管理戦略のトレーニング安定性とパフォーマンスにどのように影響を与えるか？
• RQ2 リアルタイムエネルギー管理において、RL-EMSの効果的なセンシング方式と意思決定方式は何か？
• RQ3 報酬関数の設計が異なる場合、RL-EMSにおける燃料効率とエネルギー効率にどのように影響を与えるか？
• RQ4 革新的トレーニング手法は、RL-EMSにおけるサンプル効率と一般化性能の向上にどのように寄与するか？
• RQ5 MPS-EVsにおける先進的なRL技術と現在のRL-EMS実装との間の主なギャップは何か？

主な発見

• PPO や DQN などのディープ強化学習アルゴリズムはエネルギー管理において優れたパフォーマンスを示しており、PPO はより優れたサンプル効率と安定性を示している。
• 燃料効率とバッテリ劣化の両方を考慮した報酬関数は、単一目的の報酬よりも長期的な効率性が向上する。
• 実用的なセンサー制限のため、部分状態のセンシング方式が広く用いられているが、シミュレーションでは完全状態観測がより優れたパフォーマンスを達成する。
• カリキュラム学習やトランスファーラーニングなどの革新的トレーニング手法は、トレーニング時間を顕著に短縮し、収束速度を向上させる。
• RLの進展にもかかわらず、多くのRL-EMS実装は依然として簡素化された環境に依存しており、現代のRL技術を十分に活用していない。
• 最先端のRLソリューションとその実世界におけるMPS-EVエネルギー管理への応用との間に明確なギャップが存在し、特に一般化性能とロバストネスの面で顕著である。