[論文レビュー] Contextual Tuning of Model Predictive Control for Autonomous Racing

Lukas P. Fröhlich, Christian Küttel+4 more|arXiv (Cornell University)|Oct 6, 2021

Gaussian Processes and Bayesian Inference参考文献 32被引用数 9

ひとこと要約

本論文は、学習されたダイナミクスモデルを用いて環境条件をコンテキスト変数として符号化する文脈的ベイジアン最適化フレームワークを提案する。これにより、自律走行用コントローラーのチューニングが高速かつ効率的に行える。異なる走行状況や車両間で知識を転送することで、新しいコンテキストにおける収束を加速し、2,000ラップ以上を1:28スケールRCカーで走行した実験により検証された。

ABSTRACT

Learning-based model predictive control has been widely applied in autonomous racing to improve the closed-loop behaviour of vehicles in a data-driven manner. When environmental conditions change, e.g., due to rain, often only the predictive model is adapted, but the controller parameters are kept constant. However, this can lead to suboptimal behaviour. In this paper, we address the problem of data-efficient controller tuning, adapting both the model and objective simultaneously. The key novelty of the proposed approach is that we leverage a learned dynamics model to encode the environmental condition as a so-called context. This insight allows us to employ contextual Bayesian optimization to efficiently transfer knowledge across different environmental conditions. Consequently, we require fewer data to find the optimal controller configuration for each context. The proposed framework is extensively evaluated with more than 3'000 laps driven on an experimental platform with 1:28 scale RC race cars. The results show that our approach successfully optimizes the lap time across different contexts requiring fewer data compared to other approaches based on standard Bayesian optimization.

研究の動機と目的

• 天候の変化や雨によるタイヤのグリップ低下といった環境条件の変化に伴うコントローラー性能の劣化を解消すること。
• 過去の実験から得られる文脈的情報を活用することで、コントローラーチューニングのサンプル効率を向上させること。
• 異なる車両や走行状況間での知識転送を可能にし、最適チューニングに必要なラップ数を削減すること。
• 1:28スケールRCレーシングプラットフォームを用いた、ロボティクス分野における文脈的ベイジアン最適化の初のハードウェア実装を示すこと。

提案手法

• 過去のラップのテレメトリーデータを用いてトレーニングされたパラメトリックな残差ダイナミクスモデルを用いて、環境条件をコンテキスト変数として符号化する。
• 目的関数（正則化されたラップタイム）を表すためにガウス過程のスレーブモデルを用い、コンテキスト依存のハイパーパrameterを有する。
• 過去のコンテキストからのデータを活用してスレーブモデルを初期化することで、MPCコントローラーの重み（Q_advおよびQ_cont）を文脈的ベイジアン最適化でチューニングする。
• 新しいテレメトリーデータを用いて毎ラップでダイナミクスモデルを再推定することで、コンテキスト変数（回帰係数）が変化する環境に適応する。
• 複数のコンテキストからのデータを用いてGPスレーブモデルを事前学習することで、新しいコンテキストにおける収束を加速する知識転送を実現する。
• ROS上でフレームワークを実装し、オープンソース化することで、ロボット制御パイプラインへの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 天候やトラックグリップの変化といった環境条件を、コントローラーチューニングのためのダイナミクスモデルにおけるコンテキスト変数として効果的に符号化できるか？
• RQ2 標準的なBOと比較して、文脈的ベイジアン最適化はMPCコントローラーチューニングにおけるサンプル効率をどのように向上させるか？
• RQ3 異なる車両や走行状況で得た過去の実験データから得られる知識は、新しいコンテキストにおけるチューニングをどの程度加速できるか？
• RQ4 低次元のパラメトリックダイナミクスモデルは、雨によるグリップ低下といったコンテキストの変化を信頼性を持って捉えることができるか？
• RQ5 文脈的チューニングを用いることで、ラップタイム最適化の速度はどの程度向上するか？

主な発見

• 文脈的ベイジアン最適化により、収束が加速したため、最適なコントローラーパrameterに到達するためのラップ数が削減された。特にチューニングの初期段階で顕著であった。
• 過去の実験データから事前学習されたスレーブモデルを活用することで、新しいコンテキストにおいても最初のイテレーションから良好な性能が得られた。
• 残差ダイナミクスモデルの回帰係数は、異なるコンテキスト（例：ドライ対ウェット）で明確に区別可能であり、これがコンテキスト記述子としての適切さを裏付けた。
• 本フレームワークは、1:28スケールRCレースカーにおいても成功裏にハードウェアデプロイが実現され、合計2,000ラップ以上の走行が達成された。
• 文脈的BOのオープンソース版ROS実装により、より広範な採用とロボット制御システムへの統合が可能となった。