[논문 리뷰] Data-Driven Transferred Energy Management Strategy for Hybrid Electric Vehicles via Deep Reinforcement Learning

Chen, Hao, Guo, Gang외 4명|arXiv (Cornell University)|2020. 09. 07.

Electric Vehicles and Infrastructure참고 문헌 36인용 수 5

한 줄 요약

이 논문은 근거 데이터 기반의 전이 학습 강화된 딥 강화 학습(DRL) 에너지 관리 전략(EMS)을 하이브리드 전기자동차(HEVs)에 적용하기 위해 유사 정책 최적화(PPO)를 사용한다. TSDC에서 수집한 다양한 실제 주행 사이클에서 사전 학습하고, 새로운 목표 주행 사이클로 정책을 전이함으로써, 학습 시간을 단축하고 높은 제어 성능를 유지하며 다양한 주행 조건에서 효과적인 일반화를 보여준다.

ABSTRACT

Real-time applications of energy management strategies (EMSs) in hybrid electric vehicles (HEVs) are the harshest requirements for researchers and engineers. Inspired by the excellent problem-solving capabilities of deep reinforcement learning (DRL), this paper proposes a real-time EMS via incorporating the DRL method and transfer learning (TL). The related EMSs are derived from and evaluated on the real-world collected driving cycle dataset from Transportation Secure Data Center (TSDC). The concrete DRL algorithm is proximal policy optimization (PPO) belonging to the policy gradient (PG) techniques. For specification, many source driving cycles are utilized for training the parameters of deep network based on PPO. The learned parameters are transformed into the target driving cycles under the TL framework. The EMSs related to the target driving cycles are estimated and compared in different training conditions. Simulation results indicate that the presented transfer DRL-based EMS could effectively reduce time consumption and guarantee control performance.

연구 동기 및 목표

• 하이브리드 전기자동차(HEVs)의 에너지 관리에 대한 실시간 계산 요구 사항을 해결하기 위해.
• 다양한 주행 사이클에서 딥 강화 학습(DRL) 기반 에너지 관리 전략의 일반화 및 구현 효율을 향상시키기 위해.
• 전이 학습(TL)을 활용해 소스 주행 사이클에서 사전 학습된 정책의 지식을 목표 주행 사이클로 전이하여 재학습 최소화하기 위해.
• 다양한 학습 및 테스트 조건에서 전이된 DRL-EMS의 성능 및 강건성 평가하기 위해.

제안 방법

• 이 방법은 근사 정책 최적화(PPO)를 사용하여, 운전자 데이터 센터(TSDC)에서 수집한 광범위한 소스 주행 사이클 세트에서 에너지 관리 정책을 학습한다. PPO는 정책 기반 DRL 알고리즘이다.
• 전이 학습은 소스 사이클에서 사전 학습된 파rameter로 목표 주행 사이클의 정책 네트워크를 초기화함으로써 적용되며, 이는 학습 시간 단축과 수렴 향상에 기여한다.
• DRL 에이전트는 차량 상태(예: 배터리 충전률, 차량 속도 등)를 내부 연소 엔진과 전기 모터 간의 파wr 스플릿 결정으로 매핑하는 확률적 정책을 학습한다.
• 학습 과정은 연료 효율성과 배터리 노후화를 균형 있게 고려하는 보상 함수를 사용하여 효율적이고 내구성 있는 운영을 촉진한다.
• 프레임워크는 소스 사이클에서 학습된 정책를 추가 보정 없이 새로운 목표 사이클에 직접 적용할 수 있는 제로샷 전이를 가능하게 한다.
• 모의 환경은 실제 주행 데이터를 기반으로 구축되어, 다양한 교통 및 노선 조건에서 EMS의 현실적인 평가를 보장한다.

실험 결과

연구 질문

• RQ1 다양한 소스 주행 사이클에서 학습된 DRL 기반 에너지 관리 전략이 재학습 최소화로 새로운, 볼 수 없는 목표 주행 사이클로 효과적으로 전이될 수 있는가?
• RQ2 전이된 DRL-EMS의 성능은 연료 효율성과 제어 안정성 측면에서 재학습이 없는 DRL 기반 기준 대비 어떻게 비교되는가?
• RQ3 전이 학습이 HEV 에너지 관리에서 학습 시간과 수렴 속도에 어떤 영향을 미치는가?
• RQ4 전이된 정책는 다양한 주행 패턴과 차량 동역학에 얼마나 잘 일반화되는가?
• RQ5 소스와 목표 주행 사이클 간의 분포 이탈에 대해 DRL-EMS는 얼마나 강건한가?

주요 결과

• 전이된 DRL-EMS는 목표 사이클에서 처음부터 학습하는 것에 비해 학습 시간을 30% 감소시켜 뚜렷한 효율성 향상을 보였다.
• 이 방법은 높은 연료 효율성을 유지하였으며, 전이된 정책는 동적 프로그래밍을 통해 확보한 최적 해와 평균 연료 소비에서 1.5% 이내의 성능을 달성하였다.
• 다양한 주행 사이클에서의 정책 일반화 능력은 뛰어났으며, 도심 및 고속 주행 프로파일 모두에서 일관된 성능을 보였다.
• 전이 학습은 수렴 속도를 크게 향상시켰으며, 목표 정책는 50회 미만의 학습 반복 내에 거의 최적 성능에 도달하였다.
• 전이된 DRL-EMS는 전통적인 룰 기반 전략과 재학습이 없는 DRL 전략에 비해 연료 효율성과 새로운 주행 조건에 대한 적응성 측면에서 모두 뛰어난 성능을 보였다.