[論文レビュー] Neural Network Based Model Predictive Control for an Autonomous Vehicle

Maria Luiza Costa Vianna, Éric Goubault+1 more|arXiv (Cornell University)|Jul 30, 2021

Advanced Control Systems Optimization参考文献 20被引用数 4

ひとこと要約

この論文では、自律走行車両における計算コストの高いModel Predictive Control (MPC)の代わりに、教師あり学習および強化学習を用いて小規模で効率的なニューラルネットワークを訓練する手法を提案する。自転車モデルを用い、シグモイド活性化関数を用いた浅い3層ネットワークが1 cm未満の追従誤差を達成し、強化学習を上回る性能を示し、リアルタイム実装および形式的検証が可能であることを実証した。

ABSTRACT

We study learning based controllers as a replacement for model predictive controllers (MPC) for the control of autonomous vehicles. We concentrate for the experiments on the simple yet representative bicycle model. We compare training by supervised learning and by reinforcement learning. We also discuss the neural net architectures so as to obtain small nets with the best performances. This work aims at producing controllers that can both be embedded on real-time platforms and amenable to verification by formal methods techniques.

研究の動機と目的

• 自律走行車両における高コストなMPCコントローラーを、軽量なニューラルネットワークコントローラーに置き換える。
• 教師あり学習および強化学習が、リアルタイム実装に適したMPC動作を正確に近似できるかどうかを調査する。
• サイズと計算コストを最小限に抑えつつ、高い制御精度を維持するためのニューラルネットワークアーキテクチャを最適化する。
• 安全性が求められる用途に適した形式的検証が可能なニューラルコントローラーを保証する。
• 単純なトレーニング軌道からのデータを用いて学習したネットワークが、複雑で未知の軌道にどれほど一般化できるかを評価する。

提案手法

• MPCコントローラーが生成した状態-行動ペアを用いて、順伝播型ニューラルネットワークを教師あり学習で訓練する。
• 入力として、有限時間窓（20ステップ）内の将来の参照ポイントを含む、車両から軌道への相対的状態を使用する。
• ネットワークアーキテクチャを変化させて訓練：深さ（1〜3層）、幅（10〜100ニューロン）、活性化関数（ReLU、tanh、シグモイド）。
• 環境との相互作用から直接MPCポリシーを学習するために、2層ネットワーク（400, 300ニューロン）を用いたアクター・クリティックフレームワークを用いた強化学習を実施する。
• 検証軌道上での追従誤差の平均値、最大値、標準偏差を用いて性能を比較する。
• 形式的検証に適したネットワーク設計原則を適用し、安全性の検証に適した小型で単純なアーキテクチャを優先する。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習で訓練された小規模なニューラルネットワークは、自律走行車両のパス追従制御において、MPCコントローラーの動作を正確に再現できるか？
• RQ2 深さ、幅、活性化関数といったアーキテクチャの選択が、ニューラルコントローラーの性能と効率にどのように影響するか？
• RQ3 システムのダイナミクスが既知である状況で、強化学習は教師あり学習と同等の精度のコントローラーを生成できるか？
• RQ4 直線などの単純な軌道で学習したネットワークは、複雑な実世界の軌道に効果的に一般化できるか？
• RQ5 入力表現（例：全未来軌道 vs. 相対的状態）が、学習性能および一般化能力にどの程度影響を与えるか？

主な発見

• 隠れ層にシグモイド活性化関数を用い、1層あたり10ニューロンの3層ネットワークが、最小の平均誤差（0.059 cm）と標準偏差（0.03 cm）を達成し、ReLUやtanhを上回った。
• 教師あり学習による最大追従誤差は0.39 cmであり、強化学習の0.97 cmよりも顕著に低く、精度の優位性が示された。
• 単純な軌道（例：直線）で学習したネットワークは、複雑な軌道に対しても効果的に一般化でき、検証データ上での平均誤差は0.077 cmであった。
• 層を増やすことで計算コストが顕著に上昇し、ニューロン数を増やすのと比較して、より非効率な傾向にあった。
• 強化学習では、妥当な性能を得るためには非常に大きなネットワーク（400, 300ニューロン）を必要とし、1ステップあたりの評価時間が0.11msであった。これに対して、最良の教師ありネットワークは6 μsであった。
• 最終的なニューラルコントローラーは、MPC軌道からの最大ずれが1 cm未満に抑えられ、強力な近似能力とリアルタイム実装への適性を示した。