[논문 리뷰] Optimal Cost Design for Model Predictive Control

Avik Jain, Lawrence S. Chan외 2명|arXiv (Cornell University)|2021. 04. 23.

Advanced Control Systems Optimization참고 문헌 28인용 수 8

한 줄 요약

이 논문은 모델 예측 제어(MPC)의 성능을 햖थ한 최적 비용 설계(OCD-MPC)를 제안한다. 이는 진짜 비용 $C$를 최적화하는 대신, 진짜 비용 $C$ 하에서 MPC 롤아웃 성능을 향상시키기 위해 보조 비용 함수 $C'$를 학습하는 제로차수 최적화 방법이다. 짧은 예측 수평선, 국소 최적점, 또는 정확하지 않은 동역학 모델이 존재하는 상황에서도 효과적으로 작동한다. $C'$는 진짜 누적 비용이 $C$를 사용할 때보다 낮아지도록 설계되며, 자율주행 시나리오에서 초기 상태와 동역학 불일치에 대해 뛰어난 일반화 능력을 보였다.

ABSTRACT

Many robotics domains use some form of nonconvex model predictive control (MPC) for planning, which sets a reduced time horizon, performs trajectory optimization, and replans at every step. The actual task typically requires a much longer horizon than is computationally tractable, and is specified via a cost function that cumulates over that full horizon. For instance, an autonomous car may have a cost function that makes a desired trade-off between efficiency, safety, and obeying traffic laws. In this work, we challenge the common assumption that the cost we optimize using MPC should be the same as the ground truth cost for the task (plus a terminal cost). MPC solvers can suffer from short planning horizons, local optima, incorrect dynamics models, and, importantly, fail to account for future replanning ability. Thus, we propose that in many tasks it could be beneficial to purposefully choose a different cost function for MPC to optimize: one that results in the MPC rollout having low ground truth cost, rather than the MPC planned trajectory. We formalize this as an optimal cost design problem, and propose a zeroth-order optimization-based approach that enables us to design optimal costs for an MPC planning robot in continuous MDPs. We test our approach in an autonomous driving domain where we find costs different from the ground truth that implicitly compensate for replanning, short horizon, incorrect dynamics models, and local minima issues. As an example, the learned cost incentivizes MPC to delay its decision until later, implicitly accounting for the fact that it will get more information in the future and be able to make a better decision. Code and videos available at https://sites.google.com/berkeley.edu/ocd-mpc/.

연구 동기 및 목표

• 짧은 계획 수평선, 국소 최적점, 정확하지 않은 동역학 모델, 향후 재계획이 고려되지 않는 문제로 인해 MPC가 최적 성능을 내지 못하는 문제를 해결하기 위해.
• MPC가 진짜 작업 비용 $C$를 최적화해야 한다는 가정을 도전하며, 대신 학습된 보조 비용 함수 $C'$를 최적화하는 것이 더 나은 롤아웃 성능을 낼 수 있음을 제안하기 위해.
• 연속적인 MDP에서 MPC를 위한 최적 비용 설계 문제를 제로차수 최적화 과제로 수식화하기 위해.
• 학습된 보조 비용 함수가 자율주행 환경에서 예측되지 않은 초기 상태와 동역학 불일치에 대해 일반화되는지 평가하기 위해.

제안 방법

• 진짜 누적 비용을 최소화하는 것에 초점을 맞춘 최적 비용 설계 문제를 정식화하며, 진짜 비용을 직접 최적화하는 대신 MPC 롤아웃의 성능을 향상시키는 데 초점을 맞춘다.
• 제로차수 최적화(CMA-ES)를 사용해 보조 비용 함수 $C'$의 공간을 탐색하며, 피트니스 함수는 진짜 비용 $C$ 하에서 $C'$를 사용한 MPC 롤아웃의 성능을 평가한다.
• 다양한 초기 상태를 샘플링하여 $C'$를 학습함으로써, 다양한 초기 조건에 대한 일반화 능력을 향상시킨다.
• 실제 동역학 $f$를 사용해 $C'$의 피트니스를 평가함으로써, MPC가 근사 모델 $\hat{f}$를 사용할 때의 실제 세계의 동역학 불일치 상황을 시뮬레이션한다.
• 10개의 시드에 대한 부트스트랩 신뢰구간을 사용해, 예측되지 않은 초기 상태에서 성능 향상의 통계적 유의성을 평가한다.
• 보조 비용 함수 학습과 종료 비용 학습을 결합하여 성능 향상의 상호보완적 효과를 입증한다.

실험 결과

연구 질문

• RQ1 MPC에 대해 보조 비용 함수 $C'$를 학습하는 것이 진짜 비용 $C$를 직접 최적화하는 것보다 더 낮은 진짜 누적 롤아웃 비용을 낼 수 있는가?
• RQ2 자율주행 시나리오에서 예측되지 않은 초기 상태에 대해 학습된 $C'$의 성능 일반화 능력은 어떠한가?
• RQ3 $C'$는 짧은 계획 수평선, 국소 최적점, 정확하지 않은 동역학 모델을 보완할 수 있는가?
• RQ4 학습된 $C'$와 학습된 종료 비용을 결합하면 개별적으로 사용할 때보다 더 나은 성능을 낼 수 있는가?
• RQ5 예측되지 않은 초기 조건에 대해 $C'$가 안정적으로 일반화되도록 하기 위해 학습 시 필요한 초기 상태 수는 어느 정도인가?

주요 결과

• 모든 세 개의 자율주행 시나리오에서, 짧은 수평선 조건에서도 학습된 보조 비용 함수 $C'$를 사용한 MPC 롤아웃이 진짜 비용 $C$를 사용한 경우보다 유의미하게 낮은 진짜 누적 비용을 기록했다.
• 바람에 의한 노이즈가 진짜 동역학에 추가된 상황에서도 OCD-MPC는 동역학 불일치가 없는 이상적인 경우와 유사한 성능을 보였으며, 모델 정확도 부족에 대한 강건성을 입증했다.
• 시나리오 1과 2에서는 단일 초기화만으로도 $C'$가 예측되지 않은 초기 상태로 일반화되어 평균 롤아웃 비용은 낮아지고 분산은 감소했다.
• 시나리오 3(재계획이 필요한 경우)에서는 $C'$가 진짜 비용 $C$를 사용한 계획보다 일관되게 뛰어난 성능을 내기 위해 5개 이상의 초기 상태를 학습 데이터로 사용해야 했으며, 이는 다양성이 풍부한 학습 데이터의 필요성을 강조한다.
• 학습된 $C'$와 학습된 종료 비용을 조합한 결과, 개별적으로 사용했을 때보다 더 나은 성능을 기록했으며, 이는 상호보완적 이점이 있음을 시사한다.
• 이 방법은 MPC의 한계를 보완하기 위해 결정을 유예(예: 차선 변경)하는 방식으로 $C'$를 성공적으로 학습하여, 향후 재계획을 고려한 전략적 보완이 가능함을 보여주었다.