[논문 리뷰] Preference-based MPC calibration

Mengjia Zhu, Alberto Bemporad외 1명|arXiv (Cornell University)|2020. 03. 25.

Advanced Control Systems Optimization참고 문헌 28인용 수 6

한 줄 요약

이 논문은 인간의 상호 비교를 기반으로 한 보정 방법을 제안하며, 모델 예측 제어기(MPC)의 반자동화된 보정을 위해 성능 지표를 명시적으로 정의할 필요 없이 수행할 수 있도록 한다. GLISp 알고리즘을 사용하여, 보정자들의 선호도로부터 서면 성능 함수를 반복적으로 학습하며, 연속 스텐드 탱크 반응기(CSTR)와 자율 주행 차량 사례 연구에서 50회의 실험으로 근사 최적의 MPC 보정을 달성한다.

ABSTRACT

Automating the calibration of the parameters of a control policy by means of global optimization requires quantifying a closed-loop performance function. As this can be impractical in many situations, in this paper we suggest a semi-automated calibration approach that requires instead a human calibrator to express a preference on whether a certain control policy is "better" than another one, therefore eliminating the need of an explicit performance index. In particular, we focus our attention on semi-automated calibration of Model Predictive Controllers (MPCs), for which we attempt computing the set of best calibration parameters by employing the recently-developed active preference-based optimization algorithm GLISp. Based on the preferences expressed by the human operator, GLISp learns a surrogate of the underlying closed-loop performance index that the calibrator (unconsciously) uses and proposes, iteratively, a new set of calibration parameters to him or her for testing and for comparison against previous experimental results. The resulting semi-automated calibration procedure is tested on two case studies, showing the capabilities of the approach in achieving near-optimal performance within a limited number of experiments.

연구 동기 및 목표

• 정량적 성능 지표를 정의하기 어려우거나 비현실적인 경우 MPC 파라미터 보정의 과제를 해결하기 위해.
• 보정자가 닫힌 루프 성능에 대한 점수 함수를 공식적으로 정의할 필요 없이 보정을 수행할 수 있도록 하기 위해.
• 전문 지식 의존도를 줄이고, 시간이 오래 걸리는 시행착오 방식을 피하기 위해 인간의 선호도 기반으로 자동으로 파라미터 선택을 수행하기 위해.
• 실제 제어 응용 분야에서 선호 기반 최적화의 실현 가능성과 효율성을 입증하기 위해.
• 성능이 주관적이거나 다기준인 제어 시스템에 대해 유도 기반 전역 최적화의 적용 범위를 확장하기 위해.

제안 방법

• 쌍별 인간 선호도로부터 잠재 성능 지표의 서면 모델을 적극적으로 학습하기 위해 GLISp(선호 기반 GLIS) 알고리즘을 사용한다.
• 실험 횟수를 최소화하기 위해 탐색과 이용의 균형을 이루는 확보 함수를 사용한다.
• MPC 설계 파라미터를 샘플링 주기, 종료 비용 가중치, 예측 수평선, 제어 입력 가중치 파라미터를 포함하는 벡터로 표현한다.
• 수치적 안정성과 더 넓은 탐색 범위 확보를 위해 로그 스케일 파라미터 범위(예: log(q_u11), log(q_u22))를 매핑한다.
• 매번 두 개의 제어기 설정을 보정자에게 제시하고, 각 선호도에 따라 서면 모델을 갱신한다.
• 사전 정의된 평가 횟수(예: 50회) 또는 수렴 시에 프로세스를 종료하고 최고 성능을 보인 파라미터 조합을 반환한다.

실험 결과

연구 질문

• RQ1 정의된 정량적 성능 지표가 없이도 MPC 보정을 효과적으로 수행할 수 있는가?
• RQ2 GLISp와 같은 선호 기반 최적화 알고리즘이 최소한의 인간 입력으로 근사 최적의 MPC 파라미터를 얼마나 효율적으로 식별할 수 있는가?
• RQ3 인간의 주관적 선호도가 충돌하는 성능 기준을 가진 복잡한 제어 시스템의 보정을 얼마나 잘 이끌 수 있는가?
• RQ4 실험 횟수 측면에서 전통적인 시행착오 방식이나 완전 자동 최적화 방식과 비교해 선호 기반 접근 방식은 어떠한가?
• RQ5 이 방법은 PID 제어기와 같이 MPC 이외의 제어기 유형으로도 일반화될 수 있는가?

주요 결과

• 제안된 방법은 연속 스텐드 탱크 반응기(CSTR)에서 50회의 실험으로 근사 최적의 MPC 성능을 달성하였으며, 수작업으로 정의된 성능 지표가 필요 없어졌다.
• 장애물 회피 기능이 있는 자율 주행 차량 제어에서, 알고리즘은 단지 쌍별 선호도에 기반해 실시간 실행 가능성, 안전성, 탑승자 편안함을 우선순위로 삼는 MPC 파라미터를 성공적으로 보정하였다.
• 차량 사례의 최적 MPC 파라미터는 Ts = 0.085 s, εc = 0.310, Np = 16, log(qu11) = 0.261, log(qu22) = 0.918이며, 최악의 경우 계산 시간은 0.0808 s로 실시간 실행이 보장되었다.
• 보정자는 시행착오 과정에서 일관된 정량적 성능 함수를 정의하지 못했으며, 이는 선호 기반 접근 방식의 실용적 이점이 뚜렷하게 드러났다.
• GLISp 알고리즘은 수렴하기까지 단 49회의 쌍별 비교만으로도 충분히 높은 샘플 효율성을 보였다.
• 최종 닫힌 루프 성능은 안정적인 속도 추적, 최소한의 측면 이탈, 부드러운 조향 입력을 보여주었으며, 이는 서로 충돌하는 제어 목표를 균형 있게 조율하는 데서 본 방법의 효과성을 확인시켰다.