[論文レビュー] Out-of-Distribution Dynamics Detection: RL-Relevant Benchmarks and Results

Mohamad H. Danesh, Alan Fern|arXiv (Cornell University)|Jul 11, 2021

Anomaly Detection Techniques and Applications参考文献 25被引用数 4

ひとこと要約

本論文は、OpenAI Gym や Bullet などの標準的な強化学習ベンチマークから抽出された、強化学習環境における分布外動的特性検出（OODD）のための最初のベンチマークスイートを紹介する。予測誤差を用いて異常を特定する自己回帰モデルにおける予測誤差に基づく、再帰的インプリシット・クォンタイルネットワーク（RIQN）を用いた検出手法を提案し、AUC、検出遅延、誤検出率という指標において、改善の余地があるが非自明な性能を達成した。

ABSTRACT

We study the problem of out-of-distribution dynamics (OODD) detection, which involves detecting when the dynamics of a temporal process change compared to the training-distribution dynamics. This is relevant to applications in control, reinforcement learning (RL), and multi-variate time-series, where changes to test time dynamics can impact the performance of learning controllers/predictors in unknown ways. This problem is particularly important in the context of deep RL, where learned controllers often overfit to the training environment. Currently, however, there is a lack of established OODD benchmarks for the types of environments commonly used in RL research. Our first contribution is to design a set of OODD benchmarks derived from common RL environments with varying types and intensities of OODD. Our second contribution is to design a strong OODD baseline approach based on recurrent implicit quantile network (RIQN), which monitors autoregressive prediction errors for OODD detection. In addition to RIQN, we introduce and test three other simpler baselines. Our final contribution is to evaluate our baseline approaches on the benchmarks to provide results for future comparison.

研究の動機と目的

• 強化学習環境における分布外動的特性検出（OODD）のための標準化されたベンチマークの欠如に対処すること。
• CartPole、LunarLander、Ant などの一般的なRL環境に多様な動的異常を注入することで、現実的で実用的なOODDベンチマークを構築すること。
• 自己回帰モデルを用いた予測失敗に基づく、RIQN、RNN、ランダムフォレスト、決定論的モデルを含む、さまざまなベースラインOODD検出手法の開発と評価。
• AUC、検出遅延、誤検出率といった指標を含む、将来的な手法比較のための再現可能な評価フレームワークを提供すること。
• GitHubにベンチマークとベースラインの公開コードを提供することで、今後の研究を促進すること。

提案手法

• 各環境で10,000本のノーマルな軌道を生成するために、IQN（OpenAI Gym用）およびTD3（Bullet用）を用いてノーマルポリシーを訓練する。
• テスト時の軌道に、質量、摩擦、重力などの環境パラメータをランダムな時刻に変更することで、異常な動的特性を注入し、各環境で1,000本の異常軌道を生成する。
• 再帰的インプリシット・クォンタイルネットワーク（RIQN）を、過去の状態に基づいて将来の観測の分布を推定するためのコアな予測モデルとして使用する。
• 異常スコアは、真の観測と予測された分布との距離（例：クォンタイルベースの損失を用いて）として計算され、距離が大きいほど異常である可能性が高くなる。
• 3つの単純なベースラインを評価：ランダムフォレスト、決定論的RNN、標準的なRNNベースの予測器。これらすべてが予測誤差を異常信号として使用する。
• 評価には3つの指標を用いる：AUC（識別能）、検出遅延（異常を検出するまでの時間）、誤検出率（誤検出の頻度）。

実験結果

リサーチクエスチョン

• RQ1 さまざまな予測モデルは、標準的なRL環境における分布外動的特性の変化をどれほど効果的に検出できるか？
• RQ2 異常タイプや強度に応じて、検出遅延、AUC、誤検出率のトレードオフはどのように変化するか？
• RQ3 高次元状態空間において、RIQNのような確率的自己回帰モデルは、単純なベースラインを上回るOODD検出性能を示せるか？
• RQ4 質量の変更や摩擦のシフトなどの異なる異常注入戦略は、検出可能性とモデル性能にどのように影響するか？
• RQ5 現在のベースラインはどれほど信頼性のあるOODD検出を達成できており、今後の手法開発に残されたギャップは何か？

主な発見

• RIQNベースのベースラインは、OODDベンチマークで非自明な性能を示し、RLの動的特性における予測不確実性を用いた異常検出の可能性を実証した。
• 検出性能は環境や異常タイプによって顕著に異なることが判明し、Ant や Hopper といった環境ではCartPole よりも高いAUC値が得られた。
• RIQNの検出遅延は一般的に低く、タイムリーな異常応答が可能であるが、異常強度や複雑さが高くなると増加する傾向がある。
• RIQNと決定論的RNNでは誤検出率が比較的低く抑えられていたが、ランダムフォレストベースラインは特に高次元状態空間において高い誤検出を示した。
• ベンチマークから、現在の手法は低遅延と高AUC、低誤検出率のバランスを改善する余地が依然として大きくあることが明らかになった。
• ベンチマークとコードの公開により、再現可能な評価が可能となり、RLにおけるOODD検出分野の今後の研究を促進できる。