[논문 리뷰] Exploring Different Time-series-Transformer (TST) Architectures: A Case Study in Battery Life Prediction for Electric Vehicles (EVs)

Niranjan Sitapure, Atharva Kulkarni|arXiv (Cornell University)|2023. 08. 07.

Advanced Battery Technologies Research인용 수 6

한 줄 요약

이 연구는 실생활 주행 데이터를 사용하여 전기자동차(EV)의 배터리 상태충전도(SOC)와 온도를 예측하기 위해 기존의 LSTM 기반 모델과 비교하여 여러 시간시계열-Transformer(TST) 아키텍처—기본형-TST, 인코더 전용 TST, 하이브리드 TST-LSTM 모델—을 평가한다. 기본형-TST 모델이 가장 높은 예측 정확도를 기록했으며, 비대칭 설계로 인한 정보 손실으로 인해 하이브리드 아키텍처보다 성능이 뛰어났다.

ABSTRACT

In recent years, battery technology for electric vehicles (EVs) has been a major focus, with a significant emphasis on developing new battery materials and chemistries. However, accurately predicting key battery parameters, such as state-of-charge (SOC) and temperature, remains a challenge for constructing advanced battery management systems (BMS). Existing battery models do not comprehensively cover all parameters affecting battery performance, including non-battery-related factors like ambient temperature, cabin temperature, elevation, and regenerative braking during EV operation. Due to the difficulty of incorporating these auxiliary parameters into traditional models, a data-driven approach is suggested. Time-series-transformers (TSTs), leveraging multiheaded attention and parallelization-friendly architecture, are explored alongside LSTM models. Novel TST architectures, including encoder TST + decoder LSTM and a hybrid TST-LSTM, are also developed and compared against existing models. A dataset comprising 72 driving trips in a BMW i3 (60 Ah) is used to address battery life prediction in EVs, aiming to create accurate TST models that incorporate environmental, battery, vehicle driving, and heating circuit data to predict SOC and battery temperature for future time steps.

연구 동기 및 목표

• 복잡한 실생활 운전 조건에서 전기자동차(EV)의 SOC 및 온도와 같은 배터리 파라미터를 정확하게 예측하는 데 도전하는 것.
• 기존 및 새로운 하이브리드 설계를 포함한 다양한 시간시계열-Transformer(TST) 아키텍처의 효과성을 기존의 LSTM 모델과 비교하여 탐색하는 것.
• 데이터 기반 TST 모델이 기존의 물리 기반 모델보다 비배터리 관련 요인(예: 주변 온도, 재생 제동, 승객실 클리마)이 배터리 성능에 미치는 영향을 더 잘 포착할 수 있는지 평가하는 것.
• BMW i3에서 수집한 실생활 데이터 세트(72대의 전기자동차 주행 트립)를 기반으로 포괄적인 TST 기반 모델을 개발하고 벤치마킹하는 것.

제안 방법

• 연구는 BMW i3(60 Ah)에서 수집한 실생활 데이터 세트를 활용하며, 높은 시간 해상도로 배터리, 차량, 환경 및 난방 시스템 데이터를 수집한다.
• 네 가지 TST 기반 모델을 학습한다: 기본형-TST(디코더 전용), 인코더 전용 TST(enc-TST), 하이브리드 TST-LSTM(TST 인코더 + LSTM 디코더), enc-TST-dec-LSTM(TST 인코더 + LSTM 디코더).
• 기본 비교 기준으로 표준 LSTM 모델을 사용한다.
• 모든 TST 모델에 다중머리 자기주의(self-attention)와 위치 인코딩을 적용하여 장거리 시간적 의존성과 순서 정보를 포착한다.
• 변동 길이 입력 시퀀스(W)를 사용하여 향후 시간 단위(1~5분)의 SOC와 배터리 온도를 예측하도록 모델을 학습한다.
• 모델 성능은 테스트 시퀀스에서 평균 절대 오차(MAE)를 사용하여 평가하며, 다양한 시퀀스 길이(W)에 따라 결과를 분석한다.

Figure 1: Schematic illustration of architecture for (a) v-TST, and (b) hybrid TST-LSTM models.

실험 결과

연구 질문

• RQ1 다양한 TST 아키텍처—기본형-TST, 인코더 전용 TST, 하이브리드 TST-LSTM 모델—은 전기자동차에서 SOC와 배터리 온도를 예측할 때 어떻게 비교되는가?
• RQ2 TST 인코더에 LSTM 디코더를 통합하는 것(예: enc-TST-dec-LSTM)은 독립형 TST나 LSTM 모델보다 예측 성능을 향상시키는가?
• RQ3 더 긴 입력 시퀀스(W)는 TST 및 LSTM 모델의 배터리 파라미터 예측 정확도를 어느 정도 향상시키는가?
• RQ4 TST 모델은 비배터리 관련 주행 및 환경 요인(예: 주변 온도, 재생 제동)이 배터리 거동에 미치는 영향을 효과적으로 포착할 수 있는가?

주요 결과

• 기본형-TST(v-TST) 모델이 가장 높은 예측 정확도를 기록했으며, 기존 LSTM 및 모든 하이브리드 아키텍처를 초월했다.
• 하이브리드 TST-LSTM 및 enc-TST-dec-LSTM 모델은 성능이 열등했으며, 특히 후자는 가장 높은 테스트 오차를 보여, 하이브리드 설계의 비대칭성과 정보 손실이 성능 저하를 유발함을 시사했다.
• 모든 모델이 입력 시퀀스 길이(W)가 증가할수록 정확도가 향상되었으며, 더 긴 컨텍스트가 더 나은 시간적 표현 학습을 가능케 했다.
• 모델 간 성능 순위는 다음과 같았다: v-TST > LSTM > TST-LSTM > enc-TST > enc-TST-dec-LSTM로, 이는 단순하고 대칭적인 TST 설계가 복잡한 하이브리드 설계보다 더 효과적임을 보여준다.
• 결과는 TST가 시간시계열 모델링에 강력한 도구임을 시사하지만, TST 아키텍처에 LSTMs를 통합하는 것은 주의 메커니즘을 방해하고 예측 정밀도를 떨어뜨릴 수 있음을 나타낸다.
• 이 연구는 데이터 기반 TST 모델이 실생활 전기자동차 운행에서 배터리, 차량, 환경 및 난방 데이터 등 다중 소스 입력을 효과적으로 모델링하여 정확한 배터리 파라미터 예측이 가능하다는 것을 확인한다.

Figure 2: Schematic illustration of architecture for (a) enc-TST, and (b) enc-TST-dec-LSTM models.