[論文レビュー] On the stability analysis of optimal state feedbacks as represented by deep neural models.

Dario Izzo, Dharmesh Tailor+1 more|arXiv (Cornell University)|Dec 6, 2018

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本論文は、微分代数および自動微分を用いた新規手法を提案し、深層ニューラルネットワークに基づく制御システム、特にガイダンス・コントロールネットワーク（G&CNETs）の安定性を形式的に検証する。これにより、摂動および時間遅れに対する理論的保証が得られ、モンテカルロ法による検証では不十分な安全性が求められる航空宇宙および自動車分野における重要なギャップを埋める。

ABSTRACT

Research has shown how the optimal feedback control of several non linear systems of interest in aerospace applications can be represented by deep neural architectures and trained using techniques including imitation learning, reinforcement learning and evolutionary algorithms. Such deep architectures are here also referred to as Guidance and Control Networks, or G&CNETs. It is difficult to provide theoretical proofs on the control stability of such neural control architectures in general, and G&CNETs in particular, to perturbations, time delays or model uncertainties or to compute stability margins and trace them back to the network training process or to its architecture. In most cases the analysis of the trained network is performed via Monte Carlo experiments and practitioners renounce to any formal guarantee. This lack of validation naturally leads to scepticism especially in cases where safety and validation are of paramount importance such as is the case, for example, in the automotive or space industry. In an attempt to narrow the gap between deep learning research and control theory, we propose a new methodology based on differential algebra and automated differentiation to obtain formal guarantees on the behaviour of neural based control systems.

研究の動機と目的

• 航空宇宙および自動車工学などの安全が求められる分野において、深層ニューラルネットワークに基づく制御システムに対する形式的安定性保証の欠如に対処する。
• モンテカルロシミュレーションによる経験的検証の限界を克服し、理論的ロバストネス保証を提供しない。
• 深層学習研究と制御理論の間のギャップを埋め、ニューラル制御アーキテクチャの形式的解析を可能にする。
• G&CNETsの安定性マージンをネットワークアーキテクチャおよび学習プロセスにまで遡及可能にする。
• 摂動、時間遅れ、モデル不確実性に対するロバストネスを評価する体系的フレームワークを提供する。

提案手法

• 深層ニューラルネットワークベースの制御器のダイナミクスを記号的表現としてモデル化するため、微分代数技術を適用する。
• 状態および時間に関する制御方針の正確な勾配およびヤコビ行列を自動微分を用いて計算する。
• G&CNETアーキテクチャの記号的導関数に基づくリャプノフ型解析を用いて安定性条件を定式化する。
• 記号的モデルを制御理論的安定性基準と統合し、ロバストネスマージンの形式的境界を導出する。
• 感度解析を介して、安定性特性をアーキテクチャハイパーパrameterおよび学習データ分布にまで遡及する。
• 非線形航空宇宙制御問題の代表的ケースに対してフレームワークを検証し、実行可能性および正確性を示す。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロシミュレーションに依存せずに、深層ニューラルネットワークベースの最適フィードバック制御系に対して形式的安定性保証を導出可能か？
• RQ2 微分代数および自動微分をどのように活用して、G&CNETsの摂動および時間遅れに対するロバストネスを分析できるか？
• RQ3 安定性マージンを、G&CNETsのアーキテクチャおよび学習プロセスにどの程度まで遡及可能か？
• RQ4 非線形航空宇宙応用分野における、深層学習ベースの制御システムのロバストネスに対して理論的境界を確立可能か？
• RQ5 純粋に経験的検証手法と比較して、提案手法は信頼性および洞察の面で優れているか？

主な発見

• 提案手法により、深層ニューラルネットワークベースの制御システムの形式的安定性検証が可能となり、経験的モンテカルロテストに依存しなくなった。
• 微分代数および自動微分により、安定性条件を導出するために不可欠なシステム感度が正確に計算可能となった。
• 安定性マージンをアーキテクチャ的および学習パラメータに解析的に関連付けることができ、ネットワーク設計の的確な最適化が可能になった。
• フレームワークにより、非線形システムにおける時間遅れおよびモデル不確実性に対するロバストネスを体系的に評価できるようになった。
• 本手法は実世界の航空宇宙制御問題に適用可能であり、学習された制御方針の認証への道筋を提供する。
• 代表的な非線形制御シナリオにおいて実行可能性が示されたため、安全が求められる開発プロセスへの統合の可能性が示唆される。