[論文レビュー] Transfer Learning and Vision Transformer based State-of-Health prediction of Lithium-Ion Batteries

Pengyu Fu, Liang Chu+4 more|arXiv (Cornell University)|Sep 7, 2022

Advanced Battery Technologies Research被引用数 5

ひとこと要約

本稿では、リチウムイオン二次電池のSOH（State-of-Health）予測のため、転移学習を用いたビジョントランスフォーマー（ViT）ベースのモデルを提案する。入力として固定電圧範囲内の離散的充電データを用い、ViTがグローバルなサイクル特徴を捉え、全結合層と組み合わせて回帰を行う。この手法は高い予測精度と強力な転送性を達成し、特に初期サイクルデータが限られた状況でも、既存のディープラーニング手法を上回る性能を示す。

ABSTRACT

In recent years, significant progress has been made in transportation electrification. And lithium-ion batteries (LIB), as the main energy storage devices, have received widespread attention. Accurately predicting the state of health (SOH) can not only ease the anxiety of users about the battery life but also provide important information for the management of the battery. This paper presents a prediction method for SOH based on Vision Transformer (ViT) model. First, discrete charging data of a predefined voltage range is used as an input data matrix. Then, the cycle features of the battery are captured by the ViT which can obtain the global features, and the SOH is obtained by combining the cycle features with the full connection (FC) layer. At the same time, transfer learning (TL) is introduced, and the prediction model based on source task battery training is further fine-tuned according to the early cycle data of the target task battery to provide an accurate prediction. Experiments show that our method can obtain better feature expression compared with existing deep learning methods so that better prediction effect and transfer effect can be achieved.

研究の動機と目的

• 変動する動作条件下でのリチウムイオン電池の正確で一般化可能なSOH予測の課題に対処すること。
• SOH予測性能の向上を目的としたバッテリサイクルデータの特徴表現を改善すること。
• ターゲット電池の初期サイクルデータをわずか4点に限定することで、転移学習を用いてデータおよびトレーニングコストを削減すること。
• 元来画像処理を目的として設計されたビジョントランスフォーマーを、電池サイクルデータのSOH推定に応用する可能性を検討すること。
• 手動で設計された劣化特徴や複雑な電気化学的測定に依存しないようにすること。

提案手法

• 入力データは、定電流（CC）充電中の所定の電圧範囲における離散的充電データからなり、2次元行列を形成する。
• ビジョントランスフォーマー（ViT）モデルを用いて、サイクルデータ行列からグローバルかつ長距離の依存関係を抽出し、サイクルレベルの特徴を捉える。
• 抽出された特徴を最終的な全結合（FC）層が回帰してSOH値を出力する。
• 転移学習は、既知の動作条件を持つソース電池でViTを事前学習し、その後ターゲット電池の初期サイクルデータを用いてFC層のみを微調整することで実施する。
• 微調整の際には、ViTエンコーダーの重みを固定した状態でエンドツーエンドにトレーニングを行うことで、収束を加速させ、一般化性能を向上させる。
• 本手法は、追加の電気化学的測定を必要とせず、直接測定可能な電圧および電流データにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーは、SOH予測のための意味のあるグローバル特徴を、バッテリの充放電サイクルデータから効果的に抽出できるか？
• RQ2 提案手法のViT-FCモデルは、既存のディープラーニングモデルと比較して、予測精度およびデータ効率の面でどのように差をつけるか？
• RQ3 わずか初期サイクルデータのみを用いて、異なる電池や動作条件間での一般化性能はどの程度達成できるか？
• RQ4 手動で抽出された劣化特徴に依存するCNNやLSTMベースのモデルと比較して、ViTベースのアプローチは優れているか？
• RQ5 複雑な電気化学的測定や高品質なデータを必要とせずに、高い精度を達成できるか？

主な発見

• ViT-FCモデルは、特に電池の劣化が進行するに従って、CNNおよびLSTMベースのモデルと比較して優れた予測精度を示す。
• ターゲット電池の初期サイクルデータがわずか4サイクル分でも、高い精度を維持し、強力な転送性を示している。
• Cell 02やCell 07のような電池では、SOHが20%に達しても予測誤差が常に2%未満に保たれ、時間経過に伴う頑健性が確認された。
• 内部抵抗および容量データを追加したCNNベースのモデルですら、ViT-FCモデルに劣り、本手法が生データからの特徴抽出に優れていることを示している。
• 特にデータが少ない状況下でも、既存手法よりも優れた特徴表現と一般化性能を達成している。
• 転移学習を活用することで、データおよびトレーニングコストを顕著に削減でき、オンラインBMS応用に適している。