[論文レビュー] Preference-based MPC calibration

Mengjia Zhu, Alberto Bemporad+1 more|arXiv (Cornell University)|Mar 25, 2020

Advanced Control Systems Optimization参考文献 28被引用数 6

ひとこと要約

本稿では、定量的性能指標の代わりに人間による対比較を用いることで、明示的な性能指標の必要性を排除する、半自動的で好みベースのキャリブレーション手法を提案する。GLISpアルゴリズムを用い、キャリブレータの好みから逐次的に代理性能関数を学習することで、連続撹拌槽反応器（CSTR）および自動運転車の事例においてわずか50回の実験でほぼ最適なMPCチューニングを達成した。

ABSTRACT

Automating the calibration of the parameters of a control policy by means of global optimization requires quantifying a closed-loop performance function. As this can be impractical in many situations, in this paper we suggest a semi-automated calibration approach that requires instead a human calibrator to express a preference on whether a certain control policy is "better" than another one, therefore eliminating the need of an explicit performance index. In particular, we focus our attention on semi-automated calibration of Model Predictive Controllers (MPCs), for which we attempt computing the set of best calibration parameters by employing the recently-developed active preference-based optimization algorithm GLISp. Based on the preferences expressed by the human operator, GLISp learns a surrogate of the underlying closed-loop performance index that the calibrator (unconsciously) uses and proposes, iteratively, a new set of calibration parameters to him or her for testing and for comparison against previous experimental results. The resulting semi-automated calibration procedure is tested on two case studies, showing the capabilities of the approach in achieving near-optimal performance within a limited number of experiments.

研究の動機と目的

• 定量的性能指標を定義することが困難または不実用的である場合のMPCパラメータキャリブレーションの課題に対処すること。
• キャリブレータが閉ループ性能のスコア関数を形式的に定義する必要がないようにすること。
• 専門知識への依存を減らし、試行錯誤に時間を要するプロセスを回避するために、人間の好みに基づく自動パラメータ選択によるチューニングを実現すること。
• 実世界の制御応用におけるMPCチューニングに、好みベース最適化の実現可能性と効率性を示すこと。
• 性能が主観的または多基準的な制御系に、勾配なしグローバル最適化の適用範囲を拡張すること。

提案手法

• 人間による対比較から、潜在的な性能指標の代理関数を能動的に学習するGLISp（好みベースGLIS）アルゴリズムを採用する。
• 必要な実験回数を最小限に抑えるために、探索と活用のバランスを取る獲得関数を用いる。
• MPC設計パラメータを、サンプリング時間、終端コスト重み、予測ホライズン、制御入力重みパrameterを含むベクトルとして表現する。
• 数値的安定性と広範な探索を確保するため、対数スケールのパラメータ範囲（例：log(q_u11), log(q_u22)）にマッピングする。
• 繰り返し、2つの制御器設定をキャリブレータに提示し、各好みの入力後に代理モデルを更新する。
• 事前に定義された評価回数（例：50回）または収束に達した時点でプロセスを終了し、最も優れたパラメータセットを返却する。

実験結果

リサーチクエスチョン

• RQ1 定量的性能指標を事前に定義しない状況でも、MPCキャリブレーションを効果的に行うことができるか？
• RQ2 GLISpのような好みベース最適化アルゴリズムは、最小限の人的入力で、ほぼ最適なMPCパラメータをどれだけ効率的に特定できるか？
• RQ3 人間の主観的好みは、対立する性能基準を有する複雑な制御系のキャリブレーションをどの程度効果的に導けるか？
• RQ4 試行錯誤や完全自動最適化と比較して、この好みベースアプローチは必要な実験回数をどれほど削減できるか？
• RQ5 この手法は、MPCに限らず、PID制御器などの他の制御器タイプにも一般化可能か？

主な発見

• 提案手法は、連続撹拌槽反応器（CSTR）においてわずか50回の実験でほぼ最適なMPC性能を達成し、手動で定義された性能指標の必要性を排除した。
• 障害物回避を伴う自動運転車制御において、アルゴリズムは対比較に基づくのみで、リアルタイム実装可能性、安全性、乗客快適性を優先するMPCパラメータを効果的にチューニングした。
• 車両ケースの最適MPCパラメータは、Ts = 0.085 s、εc = 0.310、Np = 16、log(qu11) = 0.261、log(qu22) = 0.918 であり、最悪ケースの計算時間は0.0808 sで、リアルタイム実装が保証された。
• キャリブレータは、試行錯誤による定量的性能関数の定義に失敗したため、好みベースアプローチの実用的利点が顕著に示された。
• GLISpアルゴリズムは収束までにたった49回の対比較で完了し、好みベース最適化における高いサンプル効率を示した。
• 最終的な閉ループ性能は、安定した速度追従性、最小限の横方向のずれ、滑らかなステアリング入力の特性を示し、競合する制御目的を効果的にバランスさせることの有効性を確認した。