[論文レビュー] Energy Consumption and Battery Aging Minimization Using a Q-learning Strategy for a Battery/Ultracapacitor Electric Vehicle

Bin Xu, Junzhe Shi+3 more|arXiv (Cornell University)|Oct 27, 2020

Advanced Battery Technologies Research参考文献 27被引用数 4

ひとこと要約

本論文は、バッテリ/スーパーキャパシタ搭載の電気自動車に対して、Q学習に基づくエネルギー管理戦略を提案し、同時にバッテリの劣化とエネルギー消費を最小化することを目的としている。重度要因に基づく劣化モデルを活用した強化学習により、超電池を搭載しないベースラインと比較して、バッテリの老化が13–20%低減され、走行距離が1.5–2%延長された。

ABSTRACT

Propulsion system electrification revolution has been undergoing in the automotive industry. The electrified propulsion system improves energy efficiency and reduces the dependence on fossil fuel. However, the batteries of electric vehicles experience degradation process during vehicle operation. Research considering both battery degradation and energy consumption in battery/ supercapacitor electric vehicles is still lacking. This study proposes a Q-learning-based strategy to minimize battery degradation and energy consumption. Besides Q-learning, two heuristic energy management methods are also proposed and optimized using Particle Swarm Optimization algorithm. A vehicle propulsion system model is first presented, where the severity factor battery degradation model is considered and experimentally validated with the help of Genetic Algorithm. In the results analysis, Q-learning is first explained with the optimal policy map after learning. Then, the result from a vehicle without ultracapacitor is used as the baseline, which is compared with the results from the vehicle with ultracapacitor using Q-learning, and two heuristic methods as the energy management strategies. At the learning and validation driving cycles, the results indicate that the Q-learning strategy slows down the battery degradation by 13-20% and increases the vehicle range by 1.5-2% compared with the baseline vehicle without ultracapacitor.

研究の動機と目的

• バッテリ/スーパーキャパシタ搭載の電気自動車におけるバッテリ劣化とエネルギー消費の統合的分析が不足しているという問題に取り組む。
• 車両走行中のバッテリ劣化とエネルギー使用の両方を最小化するエネルギー管理戦略を開発する。
• 実験データを用いて、重度要因に基づくバッテリ劣化モデルの妥当性を検証し、遺伝的アルゴリズムを用いて最適化する。
• Q学習とヒューリスティック手法、および超電池を搭載しないベースラインシステムとの性能を比較する。
• 強化学習が、車両効率とバッテリ耐久性の両面で向上をもたらす有効性を実証する。

提案手法

• 実験的に検証された重度要因に基づくバッテリ劣化モデルを組み込んだ車両駆動系モデルを構築する。
• リアルタイムでバッテリとスーパーキャパシタ間の最適なエネルギー分配を学習するQ学習アルゴリズムを実装する。
• 比較のための2つのヒューリスティックエネルギー管理戦略のチューニングと最適化に、粒子群最適化（PSO）を用いる。
• Q学習の状態空間を、バッテリの残存容量、出力要求、走行サイクル状態に基づいて定義する。
• 走行サイクルのシミュレーションを用いてQ学習エージェントを訓練し、エネルギー使用と劣化の累積コストを最小化する方策を学習する。
• 標準走行サイクル上で学習された方策を検証し、エネルギー効率とバッテリの健全性の観点から性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 Q学習に基づくエネルギー管理戦略は、バッテリ/スーパーキャパシタ搭載の電気自動車において、バッテリ劣化とエネルギー消費の両方を効果的に低減できるか？
• RQ2 Q学習の性能は、ヒューリスティック手法と超電池を搭載しないベースラインシステムと比べてどうか？
• RQ3 Q学習で管理される超電池の導入により、走行距離とバッテリ耐久性はどの程度向上するか？
• RQ4 重度要因に基づく劣化モデルは、動的走行条件下での実際のバッテリ劣化をどれほど正確に反映しているか？
• RQ5 異なる制御戦略下で、エネルギー効率とバッテリ劣化低減のトレードオフはどのようなものか？

主な発見

• Q学習戦略は、超電池を搭載しないベースライン車両と比較して、バッテリ劣化を13–20%低減した。
• Q学習ベースのシステムは、同じ走行サイクル下で走行距離を1.5–2%向上させ、エネルギー効率の向上を実証した。
• 重度要因に基づく劣化モデルは実験的に検証され、Q学習フレームワーク内でも実際のバッテリ劣化を的確に反映する形で有効に使用された。
• Q学習のポリシー地図は、最適戦略への明確な収束を示し、複数の走行サイクルにわたって安定的かつ再現性のある性能を示した。
• PSOで最適化されたヒューリスティック手法は同程度の性能を示したが、劣化低減や走行距離延長の両面でQ学習を上回ることはなかった。
• 超電池とQ学習ベースの制御を統合することで、エネルギー効率とバッテリ耐久性の両方が顕著に向上した。