[論文レビュー] Safe Exploration for Identifying Linear Systems via Robust Optimization

Tyler Lu, Martin Zinkevich+3 more|arXiv (Cornell University)|Nov 30, 2017

Fault Detection and Control Systems参考文献 17被引用数 3

ひとこと要約

本稿では、線形ガウス系における安全な探索のためのロバスト最適化フレームワークを提案する。ノミナルな安全行動の周囲に安全な行動領域を計算することで、失敗のない効率的なシステム同定を可能にする。繰り返し行動空間における安全な球体を拡大し、モデル誤差に対するPACスタイルの境界を用いることで、サンプル効率を向上させる。実証的に、単一の球体による探索と比較して、より少ないサンプルで低いモデル誤差を達成した。

ABSTRACT

Safely exploring an unknown dynamical system is critical to the deployment of reinforcement learning (RL) in physical systems where failures may have catastrophic consequences. In scenarios where one knows little about the dynamics, diverse transition data covering relevant regions of state-action space is needed to apply either model-based or model-free RL. Motivated by the cooling of Google's data centers, we study how one can safely identify the parameters of a system model with a desired accuracy and confidence level. In particular, we focus on learning an unknown linear system with Gaussian noise assuming only that, initially, a nominal safe action is known. Define safety as satisfying specific linear constraints on the state space (e.g., requirements on process variable) that must hold over the span of an entire trajectory, and given a Probably Approximately Correct (PAC) style bound on the estimation error of model parameters, we show how to compute safe regions of action space by gradually growing a ball around the nominal safe action. One can apply any exploration strategy where actions are chosen from such safe regions. Experiments on a stylized model of data center cooling dynamics show how computing proper safe regions can increase the sample efficiency of safe exploration.

研究の動機と目的

• 不測の物理的システムを安全に探索する課題に取り組み、不適切な行動が破局的失敗を引き起こす可能性がある状況を想定する。
• 線形ガウス力学的ダイナミクス下で、全軌道にわたる状態変数の安全性制約を満たす条件下で、効率的なシステム同定を実現する。
• 事前におけるダイナミクスモデルの知識を必要とせず、非ベイズ的でロバストな最適化アプローチにより、安全な行動領域を計算する。
• 単一の領域ではなく複数の安全行動領域にわたる探索を拡大することで、安全な探索のサンプル効率を向上させる。
• 探索プロセス全体を通じて安全性を保証しつつ、モデル推定誤差に対する理論的境界を維持する。

提案手法

• 工業的プロセス制御を動機として、軌道の各時刻における状態変数に対する線形不等式制約を満たすことで安全性を定義する。
• 最小二乗推定値に対するPACスタイルの境界を用い、真のシステムが高確率で含まれる妥当なモデルの集合を定義する。
• すべての初期状態から出発する軌道が安全制約内に留まるように保証するロバスト最適化問題を解くことで、安全な行動領域を計算する。
• モデル誤差の境界に基づく反復的精錬を用いて、ノミナルな安全行動の周囲に安全な球体を段階的に拡大する。
• 最大14個の安全な球体を維持することで探索空間を拡張し、各球体は理論的モデル誤差の減少に応じて更新する。
• 選択された安全な球体から一様にランダムに探索行動を生成することで、多様なデータ収集を可能にするとともに、安全性の保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 ノミナルな安全行動しか入手できない状況において、線形ガウス系で安全な探索を体系的に行う方法は何か？
• RQ2 モデル不確実性下でも、任意の行動シーケンスが軌道の安全性を保証する行動空間における最大の安全領域は何か？
• RQ3 複数の安全行動領域にわたる探索は、単一領域探索と比較して、どのようにサンプル効率を向上させるか？
• RQ4 安全性を維持しながら、探索中にモデル推定誤差の理論的境界をオンラインで計算できるか？
• RQ5 複数領域による安全な探索は、所望のモデル精度に到達するための必要なサンプル数をどの程度削減できるか？

主な発見

• 20,000例のデータ後、複数球体探索では理論的モデル誤差が0.0224、実際の誤差が0.0045であった。単一球体探索はそれぞれ0.0305と0.0075であった。
• マルチボール探索では、より速く行動空間の広い領域をカバーし、モデル誤差の改善に伴い安全球体がより速く成長した。
• 理論的モデル誤差は実際の誤差よりも保守的であり、制御ポリシー最適化に用いる際も、実際の誤差そのものが保守的であることが判明した。
• 50,000例のデータ後、安全球体の成長が著しく鈍化し、モデル誤差低減のリターンが減少した。
• 実際のシステム同定は、複数の物理的ユニット（例：ファンコイル）を並列して探索することで加速可能であり、有効な探索時間は約6.5日からその一部に短縮された。
• 安全なベースラインポリシーを必要としないため、そのようなポリシーが入手できない状況にも適用可能である。