[论文解读] Exploring Different Time-series-Transformer (TST) Architectures: A Case Study in Battery Life Prediction for Electric Vehicles (EVs)

Niranjan Sitapure, Atharva Kulkarni|arXiv (Cornell University)|Aug 7, 2023

Advanced Battery Technologies Research被引用 6

一句话总结

本研究基于真实驾驶数据，评估了多种时间序列Transformer（TST）架构——包括基础TST、仅编码器TST和混合TST-LSTM模型——与基线LSTM模型在电动汽车电池荷电状态（SOC）和温度预测中的表现。基础TST模型取得了最高的预测精度，优于LSTM和混合架构，后者因设计不对称导致信息丢失而表现较差。

ABSTRACT

In recent years, battery technology for electric vehicles (EVs) has been a major focus, with a significant emphasis on developing new battery materials and chemistries. However, accurately predicting key battery parameters, such as state-of-charge (SOC) and temperature, remains a challenge for constructing advanced battery management systems (BMS). Existing battery models do not comprehensively cover all parameters affecting battery performance, including non-battery-related factors like ambient temperature, cabin temperature, elevation, and regenerative braking during EV operation. Due to the difficulty of incorporating these auxiliary parameters into traditional models, a data-driven approach is suggested. Time-series-transformers (TSTs), leveraging multiheaded attention and parallelization-friendly architecture, are explored alongside LSTM models. Novel TST architectures, including encoder TST + decoder LSTM and a hybrid TST-LSTM, are also developed and compared against existing models. A dataset comprising 72 driving trips in a BMW i3 (60 Ah) is used to address battery life prediction in EVs, aiming to create accurate TST models that incorporate environmental, battery, vehicle driving, and heating circuit data to predict SOC and battery temperature for future time steps.

研究动机与目标

• 为解决在复杂真实运行条件下准确预测电动汽车（EV）电池参数（如SOC和温度）的挑战。
• 探索不同时间序列Transformer（TST）架构——包括标准架构与新型混合设计——相较于传统LSTM模型的有效性。
• 评估数据驱动的TST模型是否能比传统物理模型更有效地捕捉非电池相关因素（如环境温度、再生制动、车厢空调）对电池性能的影响。
• 基于宝马i3车型的72次真实驾驶行程数据，开发并基准测试一组全面的基于TST的模型。

提出的方法

• 本研究采用来自宝马i3（60 Ah）车型72次驾驶行程的真实世界数据集，以高时间分辨率采集电池、车辆、环境及加热系统数据。
• 训练了四种基于TST的模型：基础TST（仅解码器）、仅编码器TST（enc-TST）、混合TST-LSTM（TST编码器+LSTM解码器）以及enc-TST-dec-LSTM（TST编码器+LSTM解码器）。
• 以标准LSTM模型作为基线进行对比。
• 所有TST模型均应用多头自注意力机制与位置编码，以捕捉长程时间依赖关系与序列顺序。
• 模型通过可变长度输入序列（W）预测未来1至5分钟的SOC与电池温度。
• 通过测试序列上的平均绝对误差（MAE）评估模型性能，并分析不同序列长度（W）下的结果。

Figure 1: Schematic illustration of architecture for (a) v-TST, and (b) hybrid TST-LSTM models.

实验结果

研究问题

• RQ1 不同TST架构——基础TST、仅编码器TST与混合TST-LSTM模型——在电动汽车SOC与电池温度预测中的表现如何比较？
• RQ2 在TST编码器中引入LSTM解码器（如enc-TST-dec-LSTM）是否能提升预测性能，相较于独立的TST或LSTM模型？
• RQ3 更长的输入序列（W）在多大程度上提升了TST与LSTM模型在电池参数预测中的准确性？
• RQ4 TST模型能否有效捕捉非电池相关驾驶与环境因素（如环境温度、再生制动）对电池行为的影响？

主要发现

• 基础TST（v-TST）模型取得了最高的预测精度，优于基线LSTM及所有混合架构。
• 混合TST-LSTM与enc-TST-dec-LSTM模型表现欠佳，后者测试误差最高，表明混合架构中的结构不对称与信息丢失会降低性能。
• 所有模型均随着输入序列长度（W）增加而提升精度，更长的上下文有助于更好的时间表征学习。
• 模型性能排名为：v-TST > LSTM > TST-LSTM > enc-TST > enc-TST-dec-LSTM，表明更简单、更对称的TST设计优于复杂的混合架构。
• 结果表明，尽管TST在时间序列建模中具有强大能力，但将LSTM集成到TST架构中可能干扰注意力机制，降低预测保真度。
• 本研究证实，数据驱动的TST模型能够有效建模复杂、多源输入（电池、车辆、环境与加热系统数据），实现真实电动汽车运行中电池参数的高精度预测。

Figure 2: Schematic illustration of architecture for (a) enc-TST, and (b) enc-TST-dec-LSTM models.