[论文解读] Dynaformer: A Deep Learning Model for Ageing-aware Battery Discharge Prediction

Luca Biggio, Tommaso Bendinelli+2 more|arXiv (Cornell University)|Jun 1, 2022

Advanced Battery Technologies Research被引用 15

一句话总结

该论文提出Dynaformer，一种基于Transformer的新型深度学习模型，可在无需校准的情况下，以高精度预测所有老化水平下的完整电池放电曲线。该模型仅利用少量初始电压/电流样本，即可联合推断电池退化状态并预测电压轨迹，在微调后实现0.03的中位数RTE，展现出强大的泛化能力以及对仿真到真实数据分布差异的鲁棒性。

ABSTRACT

Electrochemical batteries are ubiquitous devices in our society. When they are employed in mission-critical applications, the ability to precisely predict the end of discharge under highly variable environmental and operating conditions is of paramount importance in order to support operational decision-making. While there are accurate predictive models of the processes underlying the charge and discharge phases of batteries, the modelling of ageing and its effect on performance remains poorly understood. Such a lack of understanding often leads to inaccurate models or the need for time-consuming calibration procedures whenever the battery ages or its conditions change significantly. This represents a major obstacle to the real-world deployment of efficient and robust battery management systems. In this paper, we propose for the first time an approach that can predict the voltage discharge curve for batteries of any degradation level without the need for calibration. In particular, we introduce Dynaformer, a novel Transformer-based deep learning architecture which is able to simultaneously infer the ageing state from a limited number of voltage/current samples and predict the full voltage discharge curve for real batteries with high precision. Our experiments show that the trained model is effective for input current profiles of different complexities and is robust to a wide range of degradation levels. In addition to evaluating the performance of the proposed framework on simulated data, we demonstrate that a minimal amount of fine-tuning allows the model to bridge the simulation-to-real gap between simulations and real data collected from a set of batteries. The proposed methodology enables the utilization of battery-powered systems until the end of discharge in a controlled and predictable way, thereby significantly prolonging the operating cycles and reducing costs.

研究动机与目标

• 解决在可变工作和环境条件下锂离子电池准确预测放电终点（EoD）的挑战。
• 克服现有基于模型和数据驱动方法的局限性，这些方法需要校准或在老化水平间泛化能力不足。
• 开发一种统一的深度学习框架，能够预测完整放电曲线，同时从极少的输入数据中推断电池老化状态。
• 通过在真实世界数据上进行有效微调，利用最少的附加数据，弥合电池放电预测中的仿真到真实数据差距。

提出的方法

• 该模型采用基于Transformer的架构，处理序列化的电压和电流输入数据，实现长上下文序列建模，以实现准确的放电曲线预测。
• 它联合执行两个任务：预测完整的电压放电曲线，并从少量初始样本中估计电池的退化水平。
• 该模型在大规模基于物理的电池仿真生成的合成数据集上进行预训练，嵌入了强归纳偏差以捕捉电池动力学特性。
• 在真实世界数据上应用轻量级微调程序，使模型能够以最少的附加数据适应真实电池行为。
• 该架构具有可微性，支持基于梯度的优化，适用于轨迹控制或轮廓设计等下游任务。
• 该方法采用四块电池的数据进行交叉验证，其中一块用于训练，三块用于测试，以评估在电池个体差异下的泛化能力。

实验结果

研究问题

• RQ1 深度学习模型是否能在无需重新校准的情况下，准确预测所有老化水平下的完整电池放电曲线？
• RQ2 在仿真数据上预训练的模型在真实世界电池数据上的泛化能力如何？微调能否弥合仿真到真实数据的差距？
• RQ3 单个模型在不重新训练的情况下，对多样化电流轮廓和电池老化状态的泛化程度如何？
• RQ4 联合学习框架是否能以高精度同时推断退化状态并预测放电轨迹？
• RQ5 模型性能如何随微调数据集大小而变化？

主要发现

• 在真实数据上微调后，模型实现约0.03的中位数相对真实误差（RTE），相比微调前性能提升50%。
• 模型在放电曲线末端部分表现出显著性能提升，该区域预测误差最为关键，表明其在接近放电终点时具有更高的可靠性。
• 仅使用80个真实电池曲线中的子集进行微调，即可达到接近最优性能，表明预训练具有强大的泛化能力。
• 模型在多样化电流轮廓和老化水平下均保持高精度，展现出对输入复杂性和电池个体差异的鲁棒性。
• 通过微调，有效弥合了仿真到真实数据的差距，模型预测结果在适应后与真实值高度一致。
• 在仿真和真实世界评估中，模型显著优于竞争性的深度学习基线模型。