[論文レビュー] Exploring Different Time-series-Transformer (TST) Architectures: A Case Study in Battery Life Prediction for Electric Vehicles (EVs)

Niranjan Sitapure, Atharva Kulkarni|arXiv (Cornell University)|Aug 7, 2023

Advanced Battery Technologies Research被引用数 6

ひとこと要約

本研究は、実世界の走行データを用いて電気自動車（EV）のバッテリーソースオブチージェンス（SOC）および温度を予測する目的で、ベースラインのLSTMと比較して、バニラTST、エンコーダー専用TST、ハイブリッドTST-LSTMモデルを含む複数の時系列変換器（TST）アーキテクチャを評価している。バニラTSTモデルが予測精度が最も高く、非対称な設計による情報損失の影響を受けるLSTMおよびハイブリッドアーキテクチャを上回った。

ABSTRACT

In recent years, battery technology for electric vehicles (EVs) has been a major focus, with a significant emphasis on developing new battery materials and chemistries. However, accurately predicting key battery parameters, such as state-of-charge (SOC) and temperature, remains a challenge for constructing advanced battery management systems (BMS). Existing battery models do not comprehensively cover all parameters affecting battery performance, including non-battery-related factors like ambient temperature, cabin temperature, elevation, and regenerative braking during EV operation. Due to the difficulty of incorporating these auxiliary parameters into traditional models, a data-driven approach is suggested. Time-series-transformers (TSTs), leveraging multiheaded attention and parallelization-friendly architecture, are explored alongside LSTM models. Novel TST architectures, including encoder TST + decoder LSTM and a hybrid TST-LSTM, are also developed and compared against existing models. A dataset comprising 72 driving trips in a BMW i3 (60 Ah) is used to address battery life prediction in EVs, aiming to create accurate TST models that incorporate environmental, battery, vehicle driving, and heating circuit data to predict SOC and battery temperature for future time steps.

研究の動機と目的

• 複雑で現実的な運用条件下における電気自動車（EV）のSOCや温度などのバッテリー特性を正確に予測する課題に対処すること。
• 従来のLSTMモデルと比較して、標準的および新規のハイブリッド設計を含むさまざまな時系列変換器（TST）アーキテクチャの有効性を検討すること。
• データ駆動型TSTモデルが、環境温度や再生ブレーキ、乗員室クライマ制御などのバッテリー関連以外の要因がバッテリー性能に与える影響を、従来の物理ベースのモデルよりも効果的に捉えられるかどうかを評価すること。
• BMW i3（60 Ah）の72件のEV走行トライアルの実世界データセットを用いて、包括的なTSTベースのモデルを構築し、ベンチマーク化すること。

提案手法

• 本研究では、BMW i3（60 Ah）の72件の走行トライアルから得られた実世界データセットを用い、高時間分解能でバッテリー、車両、環境、ヒーティングシステムのデータを収集した。
• 4つのTSTベースのモデルを訓練した：バニラTST（デコーダー専用）、エンコーダー専用TST（enc-TST）、ハイブリッドTST-LSTM（TSTエンコーダーにLSTMデコーダー）、enc-TST-dec-LSTM（TSTエンコーダーにLSTMデコーダー）。
• 比較のためのベースラインとして、標準的なLSTMモデルを用いた。
• すべてのTSTモデルにマルチヘッド自己注意機構と位置エンコーディングを適用し、長距離の時系列依存性と順序の整合性を捉えた。
• 変動長の入力系列（W）を用いて、将来の時刻ステップ（1〜5分後）のSOCおよびバッテリータンク温度を予測するようにモデルを訓練した。
• モデルの性能は、テスト系列における平均絶対誤差（MAE）を用いて評価され、異なる系列長（W）における結果の分析が行われた。

Figure 1: Schematic illustration of architecture for (a) v-TST, and (b) hybrid TST-LSTM models.

実験結果

リサーチクエスチョン

• RQ1 バニラTST、エンコーダー専用TST、ハイブリッドTST-LSTMモデルといった、さまざまなTSTアーキテクチャは、EVにおけるSOCおよびバッテリータンク温度の予測において、どのように比較されるか？
• RQ2 TSTエンコーダーにLSTMデコーダーを組み込む（例：enc-TST-dec-LSTM）ことで、単体のTSTやLSTMモデルと比較して予測性能が向上するか？
• RQ3 入力系列長（W）を延ばすことで、TSTおよびLSTMモデルのバッテリー特性予測精度がどの程度向上するか？
• RQ4 TSTモデルは、環境温度や再生ブレーキなどのバッテリー関連以外の走行および環境要因がバッテリー挙動に与える影響を、効果的に捉えることができるか？

主な発見

• バニラTST（v-TST）モデルが予測精度が最も高く、ベースラインのLSTMおよびすべてのハイブリッドアーキテクチャを上回った。
• ハイブリッドTST-LSTMおよびenc-TST-dec-LSTMモデルは性能が低く、特に後者は最高のテスト誤差を示し、ハイブリッド設計に起因するアーキテクチャの非対称性と情報損失が性能を劣化させることを示した。
• すべてのモデルが入力系列長（W）の増加に伴い精度が向上した。これは、より長いコンテキストが優れた時系列表現学習を可能にしたことを示している。
• モデルの性能順位は以下の通りであった：v-TST > LSTM > TST-LSTM > enc-TST > enc-TST-dec-LSTM。これは、単純で対称性の高いTST設計が、複雑なハイブリッド設計よりも効果的であることを示している。
• 結果から、TSTは時系列モデリングに強力である一方で、LSTMをTSTアーキテクチャに統合すると注意メカニズムが乱れ、予測の正確性が低下する可能性があることが示唆された。
• 本研究は、データ駆動型TSTモデルが、バッテリー、車両、環境、ヒーティングデータといった複数の情報源を効果的に統合し、実世界のEV運用における正確なバッテリー特性予測を実現できることを確認した。

Figure 2: Schematic illustration of architecture for (a) enc-TST, and (b) enc-TST-dec-LSTM models.