[논문 리뷰] Progress and summary of reinforcement learning on energy management of MPS-EV

Jincheng Hu, Lin Yang외 5명|arXiv (Cornell University)|2022. 11. 08.

Electric Vehicles and Infrastructure인용 수 4

한 줄 요약

이 논문은 다전원 전기차(MPS-EVs)에서 강화학습(RL)-기반 에너지 관리 전략(RL-EMS)에 대한 종합적 리뷰와 체계적 분석을 제공한다. 알고리즘, 인지 및 의사결정 방식, 보상 함수, 훈련 방법 등의 핵심 설계 요소를 검토하며, 최신 RL 기법과 현재의 RL-EMS 응용 간 격차를 밝히고, 고급 AI를 에MS에 통합하기 위한 향후 방향을 제안한다.

ABSTRACT

The high emission and low energy efficiency caused by internal combustion engines (ICE) have become unacceptable under environmental regulations and the energy crisis. As a promising alternative solution, multi-power source electric vehicles (MPS-EVs) introduce different clean energy systems to improve powertrain efficiency. The energy management strategy (EMS) is a critical technology for MPS-EVs to maximize efficiency, fuel economy, and range. Reinforcement learning (RL) has become an effective methodology for the development of EMS. RL has received continuous attention and research, but there is still a lack of systematic analysis of the design elements of RL-based EMS. To this end, this paper presents an in-depth analysis of the current research on RL-based EMS (RL-EMS) and summarizes the design elements of RL-based EMS. This paper first summarizes the previous applications of RL in EMS from five aspects: algorithm, perception scheme, decision scheme, reward function, and innovative training method. The contribution of advanced algorithms to the training effect is shown, the perception and control schemes in the literature are analyzed in detail, different reward function settings are classified, and innovative training methods with their roles are elaborated. Finally, by comparing the development routes of RL and RL-EMS, this paper identifies the gap between advanced RL solutions and existing RL-EMS. Finally, this paper suggests potential development directions for implementing advanced artificial intelligence (AI) solutions in EMS.

연구 동기 및 목표

• 다전원 전기차(MPS-EVs)에서 강화학습 기반 에너지 관리 전략(RL-EMS)의 설계 요소를 체계적으로 분석하기.
• 고급 RL 알고리즘, 인지 방식, 의사결정 메커니즘, 보상 함수 및 혁신적인 훈련 방법이 EMS 성능 향상에 미치는 영향 평가하기.
• 최신 RL 솔루션과 현재의 MPS-EVs에서의 RL-EMS 구현 간 격차 규명하기.
• 에너지 관리 시스템의 효율성과 주행 거리 향상을 위해 고급 인공지능을 통합하기 위한 실천 가능한 개발 방향 제안하기.

제안 방법

• 2010년에서 2022년 사이에 출판된 142篇의 RL-EMS 연구를 대상으로 체계적 리뷰를 수행하며, 알고리즘, 인지, 의사결정, 보상, 훈련 방법 요소에 중점을 둔다.
• EMS에 사용된 RL 알고리즘을 딥 Q 네트워크(DQN), 프록시멀 정책 최적화(PPO), 딥 디터미니스틱 정책 기반 경량화(DDPG), 기타 딥 RL 방법으로 분류한다.
• 전체 상태, 부분 상태, 센서 기반 입력을 포함한 상태 관측 방법을 기반으로 인지 방식을 분석한다.
• 실시간 적용 가능성을 중시하여 온라인 및 오프라인 제어 전략으로 의사결정 방식을 분류한다.
• 연료 효율성, 에너지 효율성, 복합 목표로 보상 함수를 분류하며, 설계 시 고려해야 할 상충 관계를 강조한다.
• 커리큘럼 학습, 전이 학습, 다중 에이전트 훈련과 같은 혁신적인 훈련 방법을 검토하고, 수렴성 및 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 RL 알고리즘이 MPS-EVs의 에너지 관리 전략의 훈련 안정성과 성능에 어떤 영향을 미치는가?
• RQ2 RL-EMS에서 실시간 에너지 관리에 가장 효과적인 인지 및 의사결정 방식은 무엇인가?
• RQ3 다양한 보상 함수 설계가 RL-EMS의 연료 효율성과 에너지 효율성에 어떤 영향을 미치는가?
• RQ4 혁신적인 훈련 방법은 RL-EMS에서 샘플 효율성과 일반화 능력을 향상시키는 데 어떤 역할을 하는가?
• RQ5 최신 RL 기법과 현재의 MPS-EVs에서의 RL-EMS 구현 간 핵심 격차는 무엇인가?

주요 결과

• PPO와 DQN과 같은 딥 강화학습 알고리즘은 에너지 관리에서 뛰어난 성능을 보이며, PPO는 더 뛰어난 샘플 효율성과 안정성을 보였다.
• 연료 효율성과 배터리 노화를 동시에 고려한 보상 함수는 단일 목표 보상보다 장기적인 효율성을 향상시켰다.
• 실제 센서 제약으로 인해 부분 상태 인지 방식이 널리 사용되지만, 시뮬레이션에서는 전체 상태 관측이 더 뛰어난 성능을 보였다.
• 커리큘럼 학습과 전이 학습과 같은 혁신적인 훈련 방법은 훈련 시간을 크게 줄이고 수렴 속도를 향상시켰다.
• RL의 발전에도 불구하고, 대부분의 RL-EMS 구현은 여전히 단순화된 환경에 의존하며 현대 RL 기법을 충분히 활용하지 못하고 있다.
• 최신 RL 솔루션과 실제 MPS-EV 에너지 관리에의 적용 간 명확한 격차가 존재하며, 특히 일반화 능력과 강인성 측면에서 두드러진다.