[논문 리뷰] Transfer Learning and Vision Transformer based State-of-Health prediction of Lithium-Ion Batteries

Pengyu Fu, Liang Chu외 4명|arXiv (Cornell University)|2022. 09. 07.

Advanced Battery Technologies Research인용 수 5

한 줄 요약

이 논문은 전이 학습을 활용한 비전 트랜스포머(ViT) 기반 모델을 제안하여 리튬이온 이차전지의 상태수명(SOH) 예측을 수행한다. 입력으로는 고정된 전압 범위 내의 이산화된 충전 데이터를 사용하며, ViT를 통해 전역적인 사이클 특징을 추출하고, 이를 완전히 연결된(FC) 레이어와 결합하여 회귀 예측을 수행한다. 이 방법은 높은 예측 정확도와 강한 전이 능력을 보이며, 특히 초기 사이클 데이터가 극히 적은 경우 기존의 딥러닝 기반 접근법을 능가한다.

ABSTRACT

In recent years, significant progress has been made in transportation electrification. And lithium-ion batteries (LIB), as the main energy storage devices, have received widespread attention. Accurately predicting the state of health (SOH) can not only ease the anxiety of users about the battery life but also provide important information for the management of the battery. This paper presents a prediction method for SOH based on Vision Transformer (ViT) model. First, discrete charging data of a predefined voltage range is used as an input data matrix. Then, the cycle features of the battery are captured by the ViT which can obtain the global features, and the SOH is obtained by combining the cycle features with the full connection (FC) layer. At the same time, transfer learning (TL) is introduced, and the prediction model based on source task battery training is further fine-tuned according to the early cycle data of the target task battery to provide an accurate prediction. Experiments show that our method can obtain better feature expression compared with existing deep learning methods so that better prediction effect and transfer effect can be achieved.

연구 동기 및 목표

• 변동하는 운용 조건 하에서 정확하고 일반화 가능한 리튬이온 이차전지의 SOH 예측 문제를 해결하기 위해.
• SOH 예측 성능 향상을 위해 배터리 사이클 데이터의 특징 표현을 향상시키기 위해.
• 목표 배터리의 초기 4개 사이클 데이터만을 사용하여 전이 학습을 통해 데이터 및 학습 비용을 감소시키기 위해.
• 원래 이미지 처리를 위해 설계된 비전 트랜스포머를 배터리 사이클 데이터에 적용하여 SOH 추정에 활용할 수 있는지 탐색하기 위해.
• 수작업으로 추출한 노화 특징이나 복잡한 전기화학적 측정에 의존하지 않도록 하기 위해.

제안 방법

• 입력 데이터는 일정전류(CC) 충전 중 정의된 전압 범위 내에서 이산화된 충전 데이터로 구성되며, 2차원 행렬을 형성한다.
• 비전 트랜스포머(ViT) 모델을 사용하여 사이클 데이터 행렬의 전역적이고 장거리의 상관관계를 추출하여 사이클 수준의 특징을 캡처한다.
• 최종적으로 완전히 연결된(FC) 레이어가 추출된 특징을 SOH 값으로 회귀한다.
• 전이 학습을 통해 소스 배터리에서 알려진 운용 조건 하에서 ViT를 사전학습한 후, 목표 배터리의 초기 사이클 데이터를 사용하여 오직 FC 레이어만 미세조정한다.
• 미세조정 중에는 ViT 인코더 가중치를 고정한 채로 전체 모델을 엔드 투 엔드로 학습하여 수렴 속도를 높이고 일반화 성능을 향상시킨다.
• 추가적인 전기화학적 측정이 필요 없이 직접 측정 가능한 전압 및 전류 데이터에만 의존한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머는 배터리 충방전 사이클 데이터로부터 SOH 예측을 위해 의미 있는 전역적 특징을 효과적으로 추출할 수 있는가?
• RQ2 제안된 ViT-FC 모델의 전이 학습 기반 성능는 기존 딥러닝 모델 대비 예측 정확도와 데이터 효율성 측면에서 어떻게 비교되는가?
• RQ3 오직 초기 사이클 데이터만을 사용할 때, 모델은 다양한 배터리와 운용 조건 간에 얼마나 잘 일반화되는가?
• RQ4 수작업으로 추출한 노화 특징에 의존하는 CNN 및 LSTM 기반 모델 대비 비전 트랜스포머 기반 접근법이 더 우수한 성능을 보이는가?
• RQ5 복잡한 전기화학적 측정이나 고품질 데이터 없이도 높은 정확도를 달성할 수 있는가?

주요 결과

• ViT-FC 모델은 특히 배터리의 노후화가 진행될수록 CNN 및 LSTM 기반 모델보다 뛰어난 예측 정확도를 기록한다.
• 목표 배터리의 초기 4회 충방전 사이클 데이터만으로도 높은 정확도를 유지하며, 강력한 전이 능력을 입증한다.
• Cell 02 및 Cell 07 같은 배터리의 경우 20% SOH에서도 예측 오차가 항상 2% 이하로 유지되어 시간 경과에 따른 강인함을 보인다.
• 내부 저항 및 용량 데이터를 추가로 활용한 CNN 기반 모델조차도 ViT-FC 모델의 성능에 뒤지며, 순수한 원시 데이터로부터 특징을 추출할 수 있는 능력을 입증한다.
• 특히 낮은 데이터 환경에서 기존 방법보다 더 우수한 특징 표현과 일반화 능력을 확보한다.
• 전이 학습을 활용하여 데이터 및 학습 비용을 크게 감소시켜 온라인 BMS 응용에 적합한 솔루션을 제공한다.