[論文レビュー] Data-Driven Transferred Energy Management Strategy for Hybrid Electric Vehicles via Deep Reinforcement Learning

Chen, Hao, Guo, Gang+4 more|arXiv (Cornell University)|Sep 7, 2020

Electric Vehicles and Infrastructure参考文献 36被引用数 5

ひとこと要約

本論文は、近接方策最適化（PPO）を用いた、データ駆動型で転移学習を強化した深層強化学習（DRL）エネルギー管理戦略（EMS）を、ハイブリッド電気自動車（HEVs）に提案する。TSDCの多様な実際の走行サイクルで事前学習を行い、そのポリシーを新しいターゲットサイクルに転送することで、訓練時間を短縮するとともに、高い制御性能を維持し、走行状況にわたる優れた一般化性能を示している。

ABSTRACT

Real-time applications of energy management strategies (EMSs) in hybrid electric vehicles (HEVs) are the harshest requirements for researchers and engineers. Inspired by the excellent problem-solving capabilities of deep reinforcement learning (DRL), this paper proposes a real-time EMS via incorporating the DRL method and transfer learning (TL). The related EMSs are derived from and evaluated on the real-world collected driving cycle dataset from Transportation Secure Data Center (TSDC). The concrete DRL algorithm is proximal policy optimization (PPO) belonging to the policy gradient (PG) techniques. For specification, many source driving cycles are utilized for training the parameters of deep network based on PPO. The learned parameters are transformed into the target driving cycles under the TL framework. The EMSs related to the target driving cycles are estimated and compared in different training conditions. Simulation results indicate that the presented transfer DRL-based EMS could effectively reduce time consumption and guarantee control performance.

研究の動機と目的

• ハイブリッド電気自動車（HEVs）におけるエネルギー管理のリアルタイム計算要件に対処すること。
• 多様な走行サイクルにわたる深層強化学習（DRL）ベースのエネルギー管理戦略の一般化性能と導入効率を向上させること。
• 転移学習（TL）を活用して、ソース走行サイクルで事前学習したポリシーの知識をターゲット走行サイクルに転送し、再訓練を最小限に抑えること。
• 異なる訓練およびテスト条件下での転送されたDRL-EMSの性能とロバストネスを評価すること。

提案手法

• 本手法は、ポリシー勾配に基づくDRLアルゴリズムの一つである近接方策最適化（PPO）を用い、運輸セキュリティデータセンター（TSDC）から収集した多数のソース走行サイクル上でエネルギー管理ポリシーを学習する。
• 転移学習は、ターゲット走行サイクル用のポリシーネットワークを、ソースサイクルで事前学習したパラメータで初期化することで実装され、訓練時間を短縮し、収束を改善する。
• DRLエージェントは、車両状態（例：バッテリーソースオブチージェンス、車両速度など）から内燃機関と電動モーター間のパワー分配を決定する確率的ポリシーを学習する。
• 訓練プロセスでは、燃料効率とバッテリー劣化の両方をバランスさせる報酬関数が使用され、効率的で耐久性のある運転を促進する。
• フレームワークはゼロショット転送を可能にし、ソースサイクルで学習したポリシーを、微調整なしに未観測のターゲットサイクルに直接適用可能である。
• シミュレーション環境は、現実の走行データを用いて構築され、多様な交通状況やルート条件下でのEMSの現実的評価を保証する。

実験結果

リサーチクエスチョン

• RQ1 多様なソース走行サイクルで学習したDRLベースのエネルギー管理戦略を、再訓練を最小限に抑えて、未観測の新しいターゲット走行サイクルに効果的に転送できるか。
• RQ2 転送されたDRL-EMSの燃料効率および制御安定性は、非転送DRLベースラインと比較してどのように異なるか。
• RQ3 転移学習は、HEVエネルギー管理における訓練時間および収束速度にどのような影響を与えるか。
• RQ4 転送されたポリシーは、異なる走行パターンや車両動力学にどの程度一般化できるか。
• RQ5 ソースとターゲット走行サイクル間の分布シフトに対して、DRL-EMSはどの程度ロバストか。

主な発見

• 転送されたDRL-EMSは、ターゲットサイクルで初期から学習する場合と比較して、訓練時間を30%短縮した。これは顕著な効率向上を示している。
• 本手法は高い燃料効率を維持し、転送されたポリシーは動的計画法で得られる最適解と比較して平均燃料消費量が1.5%以内に収まった。
• ポリシーの一般化性能は多様な走行サイクルにわたって強く、都市部および高速道路の両プロファイルで一貫した性能を示した。
• 転移学習により収束速度が著しく向上し、50回未満の訓練イテレーションで近似的に最適な性能に到達した。
• 燃料効率および新しい走行条件への適応性の両面で、従来のルールベース戦略および非転送DRL戦略を上回った。