[論文レビュー] Meta Learning MPC using Finite-Dimensional Gaussian Process Approximations

Elena Arcari, Andrea Carron+1 more|arXiv (Cornell University)|Aug 13, 2020

Advanced Control Systems Optimization被引用数 7

ひとこと要約

本稿では、有限次元のガウス過程近似を用いて、未確認の状態への高速かつデータ効率の良い適応を可能にする、メタラーニングに基づく適応型モデル予測制御（MPC）のアプローチを提案する。動的特性をカーヌーベン＝ロイフ変換によるカーネル固有関数の展開でモデル化することで、ハイパーパrameterを事前学習し、テスト時に線形係数のみをベイジアン線形回帰でオンラインで適応させる。これにより、低複雑性の推論と優れた一般化性能が達成され、変化する路面状態下でのミニチュアレーシングカー制御において、ほぼ最適な性能を発揮する。

ABSTRACT

Data availability has dramatically increased in recent years, driving model-based control methods to exploit learning techniques for improving the system description, and thus control performance. Two key factors that hinder the practical applicability of learning methods in control are their high computational complexity and limited generalization capabilities to unseen conditions. Meta-learning is a powerful tool that enables efficient learning across a finite set of related tasks, easing adaptation to new unseen tasks. This paper makes use of a meta-learning approach for adaptive model predictive control, by learning a system model that leverages data from previous related tasks, while enabling fast fine-tuning to the current task during closed-loop operation. The dynamics is modeled via Gaussian process regression and, building on the Karhunen-Lo{\\`e}ve expansion, can be approximately reformulated as a finite linear combination of kernel eigenfunctions. Using data collected over a set of tasks, the eigenfunction hyperparameters are optimized in a meta-training phase by maximizing a variational bound for the log-marginal likelihood. During meta-testing, the eigenfunctions are fixed, so that only the linear parameters are adapted to the new unseen task in an online adaptive fashion via Bayesian linear regression, providing a simple and efficient inference scheme. Simulation results are provided for autonomous racing with miniature race cars adapting to unseen road conditions.

研究の動機と目的

• データ駆動型モデル予測制御（MPC）における高い計算複雑性と一般化性能の限界に取り組むこと。
• 関連するタスク間でメタラーニングを活用することで、路面状態の変化などの未確認のタスクへの効率的適応を可能にすること。
• 基底関数を固定し、テスト時にのみ線形係数のみを適応させる低複雑性の推論スキームを構築すること。
• 閉形式で固有関数が得られない場合に備え、追加のハイパーパrameter（例：回帰器の入力位置）を最適化するようにメタトレーニングを拡張すること。

提案手法

• カーヌーベン＝ロイフ展開を用いて、カーネル固有関数の有限次元線形結合により、完全なガウス過程（GP）動的モデルを近似する。
• 関連するタスクの集合における対数周辺尤度の変分下界を最適化することで、固有関数のハイパーパラメータをメタトレーニングで最適化する。
• メタテスト中に固有関数を固定し、各時刻でベイジアン線形回帰を用いて線形係数のみをオンラインで適応させる。
• 学習率とノイズ分散を用いた逐次的平均更新ルールを用いて、効率的なオンラインパrameter適応を実現する。
• 閉形式の固有関数が得られない場合に、追加のハイパーパラメータ（例：回帰器の入力位置）の最適化を可能にする。
• リアルタイム制御のため、オンラインパラメータ更新を組み込んだ閉ループでのモデル予測コーナリング制御（MPCC）を採用する。

実験結果

リサーチクエスチョン

• RQ1 有限次元のGP近似に基づくメタラーニングフレームワークは、MPCにおける未確認の制御状態への高速適応を可能にするか？
• RQ2 本手法の性能は、正確なGPベースおよびニューラルネットワークベースのメタラーニング手法と比較して、精度と計算効率の面でどのように異なるか？
• RQ3 再トレーニングなしで、タイヤ摩擦の変化など未確認の路面状態への一般化はどの程度達成できるか？
• RQ4 メタトレーニング中に基底関数のハイパーパラメータを最適化することで、固定した構成と比較して性能が向上するか？
• RQ5 線形係数のみを適応させることで、高精度な制御を維持しつつ、低複雑性の推論を達成できるか？

主な発見

• 提案手法MMPCは、最初のラップで累積RMSEが約2.5×10⁻²を達成し、地面真値MPCCと同等の性能を示し、シミュレーションにおいてベースライン手法よりも顕著に優れている。
• Alpaca（ニューラルネットワークベースのメタラーニング手法）と比較して、トレーニング可能なパラメータ数を約100倍削減しながら、性能は同等またはそれを上回っている。
• 滑り係数の変化に対する適応が速く、トラックの後半で36％の性能向上を達成し、地面真値コントローラーに非常に近い軌道追従性能を発揮している。
• メタテスト時に正確なGPを用いるMMPC-GPは、MMPCとほとんど差のない性能を示しており、有限次元近似が有効であることを示している。
• 基底関数（例：入力位置）のハイパーパラメータをメタトレーニング中に最適化することで、固定構成よりも性能が向上しており、これはオフラインでのメタトレーニングにもかかわらず有効である。
• 線形係数のみをオンラインで適応させる推論スキームにより、組み込みプラットフォームに適した計算の tractability が確保されている。