[논문 리뷰] Rigorous Agent Evaluation: An Adversarial Approach to Uncover Catastrophic Failures

Jonathan Uesato, Ananya Kumar외 8명|arXiv (Cornell University)|2018. 12. 04.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 46

한 줄 요약

본 논문은 RL 에이전트를 위한 적대적 평가(adversarial evaluation)를 도입해 파국적 실패를 효율적으로 찾고 추정하며, 약한 에이전트로부터 학습된 실패 확률 예측기를 활용해 일반 몬테카를로를 능가한다.

ABSTRACT

This paper addresses the problem of evaluating learning systems in safety critical domains such as autonomous driving, where failures can have catastrophic consequences. We focus on two problems: searching for scenarios when learned agents fail and assessing their probability of failure. The standard method for agent evaluation in reinforcement learning, Vanilla Monte Carlo, can miss failures entirely, leading to the deployment of unsafe agents. We demonstrate this is an issue for current agents, where even matching the compute used for training is sometimes insufficient for evaluation. To address this shortcoming, we draw upon the rare event probability estimation literature and propose an adversarial evaluation approach. Our approach focuses evaluation on adversarially chosen situations, while still providing unbiased estimates of failure probabilities. The key difficulty is in identifying these adversarial situations -- since failures are rare there is little signal to drive optimization. To solve this we propose a continuation approach that learns failure modes in related but less robust agents. Our approach also allows reuse of data already collected for training the agent. We demonstrate the efficacy of adversarial evaluation on two standard domains: humanoid control and simulated driving. Experimental results show that our methods can find catastrophic failures and estimate failures rates of agents multiple orders of magnitude faster than standard evaluation schemes, in minutes to hours rather than days.

연구 동기 및 목표

• 안전-critical 도메인에서 실패가 재앙적인 결과를 가져오는 상황(예: 자율주행)에서 학습 시스템의 신뢰할 수 있는 평가를 동기화하려는 동기 부여.
• 실패를 감지하고 위험을 추정하는 일반적인 무작위 테스트의 한계를 보인다.
• 약한 에이전트로부터 학습된 실패 확률 예측기 AVF를 사용해 실패 탐색과 위험 추정을 안내하는 적대적 평가 프레임워크를 제안한다.
• 적대적 평가가 표준 방법보다 실패를 발견하고 실패 확률을 추정하는 데 수십 배 이상의 속도로 수행될 수 있음을 보여준다.

제안 방법

• 에이전트의 초기 조건 x와 난수 Z에 대해 실패 지표 c(x,Z)를 정의한다.
• AVF (failure probability predictor f*(x)=P(c(x,Z)=1))를 도입하고 관련된 약한 에이전트들로부터 f ≈ f*를 학습하는 연속화(continuation) 접근법을 제시한다.
• 고-fx 초기 조건을 선택하고 다양성을 확보해 강건성을 높이며 AVF를 사용해 실패 탐색을 안내한다.
• 리스크 추정을 위한 AVF 가이드 중요 샘플링을 적용하여 제안 분포 Q_f를 구성하고 추정기 분산을 최소화한다.
• Algorithm 1: AVF-guided risk estimator (AVF estimator) 를 제공하는데, 이 알고리즘은 P_X에서 샘플링하면서 수용 확률 f^α(X_t)로 샘플링하고 결과를 f^-α(X_t)로 가중치를 준다.
• 학습 초기에 에이전트로부터 AVF를 학습하는 연계 전략을 설명해 평가에 더 강한 신호를 제공한다.

실험 결과

연구 질문

• RQ1 적대적 평가가 RL 에이전트에서 일반 몬테카를로보다 파국적 실패를 더 효율적으로 밝혀낼 수 있는가?
• RQ2 약하고 관련된 에이전트로부터 실패 확률 예측기 AVF를 학습해 실패 탐색과 위험 추정을 안내할 수 있는가?
• RQ3 AVF-가이드 평가를 사용했을 때 표준 방법에 비해 데이터와 환경 상호작용이 얼마나 절감되는가?
• RQ4 AVF 기반 위험 추정이 편향되지 않으면서 중요 샘플링으로 분산을 줄일 수 있는가?
• RQ5 AVF 기반 방법이 한정된 집합에서 가장 신뢰할 수 있는 에이전트를 식별하는 데 도움이 될 수 있는가?

주요 결과

도메인	AVF 비용	VMC 비용	PR 비용	가속 계수
Driving	3/5/11	200/1000/2700	---	65/198/250
Humanoid	19/33/56	60K/110K/180K	9K/10K/220K	2100/3100/3800

• AVF 적대자들은 무작위 테스트에 비해 훨씬 적은 에피소드로 적대적 입력을 찾는다(예: Driving: 198배, Humanoid: 3100배).
• AVF-가이드 위험 추정은 주어진 정확도 달성에 필요한 실험 수를 대폭 줄인다(Driving: 3-근사에 대해 750 vs 11,000 실험; Humanoid: 15,000 vs 5.1e5 실험).
• AVF 기반 접근은 실패 탐색과 위험 추정을 수십에서 수백 배 더 빠르고 견고하게 만들어, 수일이 아닌 분에서 시간으로의 신뢰성 평가가 가능하게 한다.
• 우선순위 재생(PR) 적대자들이 효율성을 개선하지만 일부 실패를 놓칠 수 있어 특정 경우 VMC로의 대체가 필요하다.
• 모델 선택에 AVF를 사용하면 VMC에 비해 정책의 신뢰도에 따라 더 잘 정렬되며, 학습 초기에 더 강건한 에이전트를 식별한다.