[논문 리뷰] Improving gearshift controllers for electric vehicles with reinforcement learning

Marc-Antoine Beaudoin, Benoît Boulet|arXiv (Cornell University)|2021. 12. 01.

Gear and Bearing Dynamics Analysis참고 문헌 46인용 수 14

한 줄 요약

이 논문은 전기자동차의 다속도 변속기용 기어시프트 컨트롤러의 피드포워드 및 피드백 파라미터를 자동으로 조정하기 위해 PILCO 유사 알고리즘을 사용하는 모델 기반 강화학습 접근법을 제안한다. 이 방법은 단지 네 번의 기어시프트 시험만으로도 성능 향상을 크게 이룩하여 추적 오차를 최대 80% 감소시키며, 물리적 테스트를 최소화한 채 제어 전략을 신속하게 탐색할 수 있다.

ABSTRACT

During a multi-speed transmission development process, the final calibration of the gearshift controller parameters is usually performed on a physical test bench. Engineers typically treat the mapping from the controller parameters to the gearshift quality as a black-box, and use methods rooted in experimental design -- a purely statistical approach -- to infer the parameter combination that will maximize a chosen gearshift performance indicator. This approach unfortunately requires thousands of gearshift trials, ultimately discouraging the exploration of different control strategies. In this work, we calibrate the feedforward and feedback parameters of a gearshift controller using a model-based reinforcement learning algorithm adapted from Pilco. Experimental results show that the method optimizes the controller parameters with few gearshift trials. This approach can accelerate the exploration of gearshift control strategies, which is especially important for the emerging technology of multi-speed transmissions for electric vehicles.

연구 동기 및 목표

• 컨트롤러 캘리브레이션을 위해 수천 번의 기어시프트 시험을 요구하는 전통적인 실험 설계(DoE) 방법의 비효율성을 해결하기 위해.
• 드라이브트레인 동역학에 대한 사전 지식을 통합함으로써 블랙박스 통계 최적화의 한계를 극복하기 위해.
• 다속도 전기자동차 변속기 개발 과정에서 다양한 제어 전략을 탐색하기 위한 빠르고 데이터 효율적인 방법을 개발하기 위해.
• 소수의 물리적 시험을 통해 피드포워드 및 피드백 컨트롤러 파라미터를 동시에 자동으로 조정할 수 있도록 하기 위해.
• 학습된 컨트롤러가 훈련 데이터를 초월한 다양한 운전 조건에서도 내구성을 확보하기 위해.

제안 방법

• 기본 모델 기반 강화학습을 위해 PILCO(확률적 추론을 통한 제어 학습) 알고리즘을 변형하여 기어시프트 컨트롤러 파라미터를 최적화한다.
• 확률적 동역학 모델을 사용하여 시스템 행동을 예측하고, 자동 미분를 통해 컨트롤러 파라미터에 대한 기대 비용의 기울기를 계산한다.
• 연속적인 행동 공간을 가진 마르코프 결정 과정(Markov decision process)으로 기어시프트 제어 문제를 공식화하며, 컨트롤러 출력은 모터 및 클러치 2에 대한 토크 명령어이다.
• 전체 상태 선형 피드백 제어기와 전기자동차의 클러치 간 전환 시프트를 위한 피드포워드 신호를 통합한다.
• 차량 속도 및 토크 명령어의 추적 오차를 기반으로 한 성능 비용 함수를 최소화하여 컨트롤러를 최적화한다.
• 실제 테스트 벤치에서 소수의 실제 기어시프트 시험을 반복적으로 수행하면서 모델과 정책을 폐쇄형 루프 방식으로 점진적으로 개선한다.

실험 결과

연구 질문

• RQ1 전통적인 DoE 방법에 비해 물리적 기어시프트 시험 수를 크게 줄일 수 있는가?
• RQ2 학습된 컨트롤러는 짧은 시프트 시간 또는 감소된 모터 속도 및 하중과 같은 예상치 못한 운전 조건으로 일반화되는가?
• RQ3 이 방법은 추적 성능 향상을 동시에 달성하면서 피드포워드 및 피드백 파라미터를 효과적으로 조정하는가?
• RQ4 확률적 동역학 모델의 사용이 제어기 조정의 학습 효율성과 내구성에 얼마나 기여하는가?
• RQ5 이 방법은 재학습 없이도 다른 제어기 아키텍처 및 파rametrization에 쉽게 적용 가능한가?

주요 결과

• 단지 네 번의 기어시프트 시험 후, 차량 속도의 무한노름 추적 오차는 54% 감소하였고, L2 노름은 80% 감소하였다.
• 학습된 컨트롤러는 훈련 조건뿐만 아니라 예상치 못한 조건에서도 향상된 성능을 보였다. 예를 들어 0.6초의 시프트 시간, 감소된 모터 속도 및 토크 조건에서도 성능 향상이 관찰되었다.
• 강화학습 과정은 피드포워드 및 피드백 파라미터를 성공적으로 조정하였다: 정규 모터 토크가 감소하였고, 클러치 2의 피드백 이득이 크게 증가하여 궤적 추적 성능이 향상되었다.
• 이 방법은 높은 재현성과 일관성을 보였으며, 학습된 정책을 사용한 10회 반복 시험에서 일관된 성능을 기록하여 성능 향상이 측정 노이즈 때문이 아니라는 것을 확인하였다.
• 컨트롤러 조정 과정은 계산적으로 효율적이었으며, 표준 랩탑에서 각 정책 반복이 약 100초 내로 수행되었다.
• 이 방법은 민첩하고 확장 가능했으며, 자동 미분 덕분에 최적화 프레임워크를 재설계하지 않고도 다양한 제어기 구조 및 파rametrization에 쉽게 적용할 수 있었다.