[論文レビュー] Rigorous Agent Evaluation: An Adversarial Approach to Uncover Catastrophic Failures

Jonathan Uesato, Ananya Kumar+8 more|arXiv (Cornell University)|Dec 4, 2018

Adversarial Robustness in Machine Learning参考文献 43被引用数 46

ひとこと要約

本論文は、RLエージェントの破滅的な失敗を効率的に発見・推定するための敵対的評価を導入し、弱いエージェントから学習した故障確率予測器を活用することで、素のモンテカルロ法よりも性能を上回る。

ABSTRACT

This paper addresses the problem of evaluating learning systems in safety critical domains such as autonomous driving, where failures can have catastrophic consequences. We focus on two problems: searching for scenarios when learned agents fail and assessing their probability of failure. The standard method for agent evaluation in reinforcement learning, Vanilla Monte Carlo, can miss failures entirely, leading to the deployment of unsafe agents. We demonstrate this is an issue for current agents, where even matching the compute used for training is sometimes insufficient for evaluation. To address this shortcoming, we draw upon the rare event probability estimation literature and propose an adversarial evaluation approach. Our approach focuses evaluation on adversarially chosen situations, while still providing unbiased estimates of failure probabilities. The key difficulty is in identifying these adversarial situations -- since failures are rare there is little signal to drive optimization. To solve this we propose a continuation approach that learns failure modes in related but less robust agents. Our approach also allows reuse of data already collected for training the agent. We demonstrate the efficacy of adversarial evaluation on two standard domains: humanoid control and simulated driving. Experimental results show that our methods can find catastrophic failures and estimate failures rates of agents multiple orders of magnitude faster than standard evaluation schemes, in minutes to hours rather than days.

研究の動機と目的

• 致命的な失敗が生じる安全-criticalな領域（例：自動運転）において、学習システムの信頼性ある評価を促す。
• 従来のランダムテストの限界を示す。
• 弱いエージェントから学習した故障確率予測器（AVF）を用いて、故障探索とリスク推定を誘導する敵対的評価フレームワークを提案する。
• 敵対的評価が従来手法より数量オーダー以上速く失敗を発見し、失敗確率を推定することを示す。

提案手法

• 初期条件 x と乱数 Z を与えたときのエージェントの故障指標 c(x,Z) を定義する。
• 故障確率予測器 AVF (f*(x)=P(c(x,Z)=1)) を導入し、関連する弱いエージェントから f ≈ f* を学習する継続的アプローチを提示する。
• AVFを用いて f_x の値が高い初期条件を選択し、頑健性を高めるための多様性を持たせつつ、故障探索を誘導する。
• 推定量の分散を最小化するように提案分布 Q_f を構築して、AVFガイド付きの重要サンプリングをリスク推定に適用する。
• Algorithm 1: AVF-guided risk estimator (AVF estimator) を提供する。これは P_X からサンプリングし、受理確率として f^α(X_t) を用い、結果を f^-α(X_t) でウェイトする。
• 評価のためのより強力なシグナルを提供するよう、トレーニング早期のエージェントから AVF を学習させる継続戦略を説明する。

実験結果

リサーチクエスチョン

• RQ1 敵対的評価は、RLエージェントにおいて従来の Monte Carlo より効率的に破滅的な失敗を暴露できるか？
• RQ2 弱く、関連したエージェントからどのように故障確率予測器（AVF）を学習して、故障探索とリスク推定を導くことができるか？
• RQ3 AVF-guided 評価を標準手法と比較して、データ量や環境相互作用をどれだけ節約できるか？
• RQ4 AVFベースのリスク推定は無偏性を維持しつつ、重要サンプリングによる分散を低減できるか？
• RQ5 有限集合から最も信頼性の高いエージェントを特定する際に、AVFベースの手法は役立つか？

主な発見

Domain	AVF Cost	VMC Cost	PR Cost	Acceleration Factor
Driving	3/5/11	200/1000/2700	---	65/198/250
Humanoid	19/33/56	60K/110K/180K	9K/10K/220K	2100/3100/3800

• AVF adversaries は、ランダムテストと比べて著しく少ないエピソード数で敵対的入力を見つける（例：Driving: 198x fewer; Humanoid: 3100x）。
• AVF-guided リスク推定は、特定の精度を達成するために必要な実験数を劇的に削減する（Driving: 750 vs 11,000 trials for 3-approximation; Humanoid: 15,000 vs 5.1e5 trials）。
• AVFベースのアプローチは、数十〜数百倍速く、より頑健な故障探索とリスク推定を提供し、数日ではなく数分〜数時間で実務的な信頼性評価を可能にする。
• Prioritized Replay (PR) adversaries は効率を向上させるが、いくつかの失敗を見逃すことがあり、場合によっては VMC へのフォールバックが必要となる。
• モデル選択に AVF を用いると、VMC と比較して信頼性でポリシーをより適切にランク付けでき、訓練の早い段階でより頑健なエージェントを特定できる。