[논문 리뷰] Energy Consumption and Battery Aging Minimization Using a Q-learning Strategy for a Battery/Ultracapacitor Electric Vehicle

Bin Xu, Junzhe Shi외 3명|arXiv (Cornell University)|2020. 10. 27.

Advanced Battery Technologies Research참고 문헌 27인용 수 4

한 줄 요약

이 논문은 배터리/초기용량 커패시터 전기차를 대상으로 Q-학습 기반 에너지 관리 전략을 제안하여 동시에 배터리 노화를 최소화하고 에너지 소비를 줄인다. 심각도 요인 기반의 노화 모델을 활용한 강화 학습을 통해 기준선(초기용량 커패시터 없음) 대비 배터리 노화를 13–20% 감소시키고 차량 주행 거리를 1.5–2% 향상시킨다.

ABSTRACT

Propulsion system electrification revolution has been undergoing in the automotive industry. The electrified propulsion system improves energy efficiency and reduces the dependence on fossil fuel. However, the batteries of electric vehicles experience degradation process during vehicle operation. Research considering both battery degradation and energy consumption in battery/ supercapacitor electric vehicles is still lacking. This study proposes a Q-learning-based strategy to minimize battery degradation and energy consumption. Besides Q-learning, two heuristic energy management methods are also proposed and optimized using Particle Swarm Optimization algorithm. A vehicle propulsion system model is first presented, where the severity factor battery degradation model is considered and experimentally validated with the help of Genetic Algorithm. In the results analysis, Q-learning is first explained with the optimal policy map after learning. Then, the result from a vehicle without ultracapacitor is used as the baseline, which is compared with the results from the vehicle with ultracapacitor using Q-learning, and two heuristic methods as the energy management strategies. At the learning and validation driving cycles, the results indicate that the Q-learning strategy slows down the battery degradation by 13-20% and increases the vehicle range by 1.5-2% compared with the baseline vehicle without ultracapacitor.

연구 동기 및 목표

• 배터리/초기용량 커패시터 전기차에서의 배터리 노화와 에너지 소비에 대한 통합 연구 부족을 해결한다.
• 차량 운행 중 배터리 수명 단절과 에너지 사용을 동시에 최소화하는 에너지 관리 전략을 개발한다.
• 실험 데이터와 유전 알고리즘 최적화를 통해 심각도 요인 기반의 배터리 노화 모델을 검증한다.
• Q-학습을 히وري스틱 방법과 기준선(초기용량 커패시터 없음) 시스템과 비교한다.
• 강화 학습이 차량 효율성과 배터리 수명 연장 측면에서 효과적인지 입증한다.

제안 방법

• 심각도 요인 기반의 배터리 노화 모델을 포함한 차량 추진 시스템 모델을 수립하고 실험적으로 검증한다.
• 실시간으로 배터리와 초기용량 커패시터 간 최적의 에너지 분배를 학습하기 위해 Q-학습 알고리즘을 구현한다.
• 비교를 위해 두 가지 히وري스틱 에너지 관리 전략의 최적화를 위해 입자 군집 최적화(PSO)를 사용한다.
• Q-학습의 상태 공간을 배터리 충전 상태, 전력 요구량 및 주행 사이클 조건 기반으로 정의한다.
• 모의 주행 사이클을 사용해 누적 비용(에너지 소비와 노화의 조합)을 최소화하는 정책을 학습하기 위해 Q-학습 에이전트를 훈련시킨다.
• 표준 주행 사이클에서 학습된 정책을 검증하여 에너지 효율성과 배터리 건강도 측면에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 Q-학습 기반 에너지 관리 전략은 배터리/초기용량 커패시터 전기차에서 배터리 노화와 에너지 소비를 효과적으로 줄일 수 있는가?
• RQ2 Q-학습의 성능는 히وري스틱 전략과 기준선(초기용량 커패시터 없음) 시스템과 비교해 어떻게 다른가?
• RQ3 Q-학습 기반 제어로 관리되는 초기용량 커패시터의 통합은 차량 주행 거리와 배터리 수명 연장에 얼마나 기여하는가?
• RQ4 심각도 요인 기반 노화 모델은 동적 주행 조건 하에서 실제 배터리 노화를 얼마나 정확하게 반영하는가?
• RQ5 다양한 제어 전략 하에서 에너지 효율성과 배터리 노화 완화 사이의 상충 관계는 어떠한가?

주요 결과

• Q-학습 전략은 초기용량 커패시터 없음 기준선 대비 13–20%의 배터리 노화 감소를 기록했다.
• 동일한 주행 사이클에서 Q-학습 기반 시스템은 차량 주행 거리를 1.5–2% 향상시켜 에너지 효율성 향상을 입증했다.
• 심각도 요인 기반 노화 모델은 실험적으로 검증되었으며 Q-학습 프레임워크 내에서 실제 배터리 노화를 효과적으로 반영하는 데 성공했다.
• Q-학습 정책 맵은 명확한 수렴을 보였고, 다양한 주행 사이클에서 안정적이고 반복 가능한 성능을 보였다.
• PSO 최적화 히وري스틱 방법은 유사한 성능를 보였지만, 노화 감소나 주행 거리 향상 측면에서 Q-학습을 초월하지 못했다.
• 초기용량 커패시터와 Q-학습 기반 제어의 통합은 에너지 효율성 향상과 배터리 수명 연장 양면에서 뚜렷한 개선을 이끌어냈다.