[논문 리뷰] Human-like Energy Management Based on Deep Reinforcement Learning and Historical Driving Experiences

Chen, Hao, Xiaolin Tang외 2명|arXiv (Cornell University)|2020. 07. 16.

Electric and Hybrid Vehicle TechnologiesEngineering참고 문헌 31인용 수 18

한 줄 요약

이 논문은 숙련 운전사의 역사적 주행 데이터를 기반으로 훈련된 딥 강화학습(DDPG)을 사용하여 일련-병렬 하이브리드 전기차를 위한 인간과 유사한 에너지 관리 전략을 제안한다. 동적 프ogramming 기반 전문가 시범을 실제 주행 패턴으로 대체함으로써, 최적에 가까운 성능을 유지하면서도 연료 효율성 향상과 더 빠른 수렴을 달성한다.

ABSTRACT

Development of hybrid electric vehicles depends on an advanced and efficient energy management strategy (EMS). With online and real-time requirements in mind, this article presents a human-like energy management framework for hybrid electric vehicles according to deep reinforcement learning methods and collected historical driving data. The hybrid powertrain studied has a series-parallel topology, and its control-oriented modeling is founded first. Then, the distinctive deep reinforcement learning (DRL) algorithm, named deep deterministic policy gradient (DDPG), is introduced. To enhance the derived power split controls in the DRL framework, the global optimal control trajectories obtained from dynamic programming (DP) are regarded as expert knowledge to train the DDPG model. This operation guarantees the optimality of the proposed control architecture. Moreover, the collected historical driving data based on experienced drivers are employed to replace the DP-based controls, and thus construct the human-like EMSs. Finally, different categories of experiments are executed to estimate the optimality and adaptability of the proposed human-like EMS. Improvements in fuel economy and convergence rate indicate the effectiveness of the constructed control structure.

연구 동기 및 목표

• 숙련 운전사의 행동을 모방하는 실시간, 인간과 유사한 에너지 관리 전략(EMS)을 개발하는 것.
• 기존의 동적 프로그래밍(DP) 기반 전문가 시범을 실제 역사적 주행 데이터로 대체하여 현실성과 적응 가능성 향상하는 것.
• 최적성의 손실 없이 연료 효율성 향상과 수렴 속도 향상을 달성하는 것.
• 다양한 주행 조건에서 실제 데이터를 사용하여 제안된 DRL 기반 EMS의 유효성을 검증하는 것.

제안 방법

• 모의 환경으로 사용하기 위한 일련-병렬 하이브리드 파wr트레인의 제어 중심 모델을 개발한다.
• 최적의 파워 스플릿 정책을 학습하기 위해 딥 디터민리스틱 정책 그라디언트(DDPG) 알고리즘을 사용한다.
• 동적 프로그래밍 솔루션에 의존하지 않고 숙련 운전사의 역사적 주행 데이터를 활용해 전문가 시범을 생성한다.
• 이러한 인간 주행 트레이잭터리를 사용하여 DDPG 에이전트를 훈련시켜 인간과 유사한 제어 행동을 학습한다.
• 역사적 데이터에서 나타나는 고품질 행동을 활용함으로써 근사 최적성 보장을 한다.
• 다양한 주행 사이클에서 훈련된 정책을 평가하여 적응성과 성능을 점검한다.

실험 결과

연구 질문

• RQ1 실제 인간 주행 데이터로 훈련된 DRL 기반 에너지 관리 시스템이 실시간 적용 가능하면서도 동적 프로그래밍 수준의 연료 효율성을 달성할 수 있는가?
• RQ2 DP 기반 전문가 시범을 실제 운전사 데이터로 대체할 경우 DRL 정책의 수렴 속도와 내구성은 어떻게 영향을 받는가?
• RQ3 인간과 유사한 제어 행동은 다양한 주행 조건에서 EMS의 적응성에 얼마나 기여하는가?
• RQ4 제안된 방법은 인간 주행 패턴에서 학습하면서도 근사 최적의 성능을 유지하는가?

주요 결과

• 제안된 인간과 유사한 EMS는 동적 프로그래밍을 통해 확보한 전역 최적에 근접한 연료 효율성 성능을 달성한다.
• 역사적 주행 데이터로 훈련된 DRL 에이전트는 전문가 시범이 없는 전통적 DRL 방법보다 더 빠른 수렴을 보인다.
• 다양한 주행 사이클에서 뛰어난 적응성을 보이며, 강력한 일반화 능력을 입증한다.
• DP 기반 트레이잭터리가 아닌 실제 운전사 데이터를 사용함으로써 더 현실적이고 실용적인 제어 정책이 도출된다.