[論文レビュー] Imitation Learning with Stability and Safety Guarantees

He Yin, Peter Seiler+2 more|arXiv (Cornell University)|Dec 16, 2020

Fault Detection and Control Systems参考文献 23被引用数 7

ひとこと要約

本論文は、凸なラプノフに基づく条件と局所的二次制約を学習目的に組み込むことで、証明可能なかつての安定性および安全性を備えたニューラルネットワークコントローラーを合成する、新しい模倣学習フレームワークを提案する。この手法は、ADMMに基づく最適化により、同時に模倣誤差を最小化し、吸引領域の体積を最大化することで、振り子、航空機、車両制御タスクにおいて、エキスパート方策よりも優れたロバストネスを示す。

ABSTRACT

A method is presented to learn neural network (NN) controllers with stability and safety guarantees through imitation learning (IL). Convex stability and safety conditions are derived for linear time-invariant plant dynamics with NN controllers by merging Lyapunov theory with local quadratic constraints to bound the nonlinear activation functions in the NN. These conditions are incorporated in the IL process, which minimizes the IL loss, and maximizes the volume of the region of attraction associated with the NN controller simultaneously. An alternating direction method of multipliers based algorithm is proposed to solve the IL problem. The method is illustrated on an inverted pendulum system, aircraft longitudinal dynamics, and vehicle lateral dynamics.

研究の動機と目的

• 非線形制御方策における深層模倣学習の安定性および安全性の保証の欠如に対処すること。
• ニューラルネットワークで制御される線形時不変（LTI）システムに対する、安定性および安全性の条件を扱いやすい凸形式で構築すること。
• 安定性および安全性の制約を模倣学習の目的関数に直接統合し、方策の正確性とロバストネスのバランスをとること。
• エキスパート方策よりも大きな吸引領域を有するニューラルネットワークコントローラーの合成を可能にすること。

提案手法

• ReLUおよびtanh活性化関数の範囲を局所的セクターに基づく二次制約で束縛することで、ラプノフ理論と組み合わせて、凸な安定性および安全性の条件を導出する。
• 模倣誤差を最小化し、吸引領域（ROA）の内部近似の体積を最大化する二目的最適化問題を導入する。
• 先行研究の非凸な安定性条件を凸化するためにループ変換を導入し、トレーニング中に効率的に制約を満たせるようにする。
• 収束が保証される交替方向乗数法（ADMM）アルゴリズムを用いて、制約付き模倣学習問題を解く。
• ニューラルネットワーク（NN）コントローラーを、tanhまたはReLU活性化関数を備えた二層フィードフォワードネットワークとしてパrameterizeし、安全制約を対称多面体状態集合として定式化する。
• 正定値行列変数による楕円体的内部近似を用いてROAの体積を扱いやすくし、体積最大化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 線形時不変システムにおけるニューラルネットワークコントローラーの安定性および安全性を保証する、凸的かつ取り扱いやすい条件を導出できるか？
• RQ2 方策の正確性を損なわせることなく、安定性および安全性の制約を模倣学習の目的関数に統合する方法は何か？
• RQ3 提案手法は、エキスパート方策よりも大きな吸引領域を有するニューラルネットワークコントローラーを生成できるか？
• RQ4 模倣精度とROAサイズのトレードオフが、実用的な制御タスクにおけるコントローラー性能にどの程度影響を及えるか？

主な発見

• 逆振り子および航空機の縦方向ダイナミクスの例において、提案手法はエキスパートのLQR方策よりも、ニューラルネットワークコントローラーの吸引領域（ROA）の内部近似をより大きく実現した。
• GTM航空機の例では、η₂ = 20（ROA強調度が高い）の場合、η₂ = 5 よりもROA体積が大きかったが、模倣精度が低下した。
• 車両横方向制御の例では、η₂ = 500 のNNコントローラーのROA体積（663、det(Q₁)）は、η₂ = 100 の場合の543を上回り、より大きなROAであることが確認された。
• より大きなROAであるにもかかわらず、η₂ = 500 のNNコントローラーは模倣誤差が高くなり、Frobeniusノルムが0.08（η₂ = 100 では0.14）であった。これは、ロバストネスと正確性のトレードオフを確認するものである。
• ADMMアルゴリズムは全実験で20イテレーションで収束し、計算上の取り扱いやすさを示した。
• NNコントローラーはラップトップ上で500ステップあたり0.011〜0.012秒で実行され、明示的MPC法（0.38秒）よりも著しく高速であり、リアルタイム適用可能性を示した。