[논문 리뷰] Adaptive Stress Testing: Finding Failure Events with Reinforcement Learning

Ritchie Lee, Ole J. Mengshoel외 6명|arXiv (Cornell University)|2018. 11. 06.

Formal Methods in Verification참고 문헌 25인용 수 5

한 줄 요약

이 논문은 자율주행차 및 항공기 충돌 회피 시스템과 같은 안전성이 중요한 부분 관측 가능하고 연속 시간 시스템에서 가장 가능성이 높은 장애 시나리오를 식별하기 위한 강화학습 기반 프레임워크인 적응형 스트레스 테스팅(Adaptive Stress Testing, AST)을 제안한다. 문제를 마르코프 결정 과정(Markov decision process)으로 모델링하고 내부 시스템 지식이 필요 없이 시뮬레이션 기반 최적화를 사용함으로써, AST는 높은 확률로 발생하는 장애 경로를 효율적으로 발견하며, 시스템 버전 간의 차이 분석을 가능하게 하는 확장형(DAST)도 제공한다.

ABSTRACT

Finding the most likely path to a set of failure states is important to the analysis of safety-critical systems that operate over a sequence of time steps, such as aircraft collision avoidance systems and autonomous cars. In many applications such as autonomous driving, failures cannot be completely eliminated due to the complex stochastic environment in which the system operates. As a result, safety validation is not only concerned about whether a failure can occur, but also discovering which failures are most likely to occur. This article presents adaptive stress testing (AST), a framework for finding the most likely path to a failure event in simulation. We consider a general black box setting for partially observable and continuous-valued systems operating in an environment with stochastic disturbances. We formulate the problem as a Markov decision process and use reinforcement learning to optimize it. The approach is simulation-based and does not require internal knowledge of the system, making it suitable for black-box testing of large systems. We present formulations for fully observable and partially observable systems. In the latter case, we present a modified Monte Carlo tree search algorithm that only requires access to the pseudorandom number generator of the simulator to overcome partial observability. We also present an extension of the framework, called differential adaptive stress testing (DAST), that can find failures that occur in one system but not in another. This type of differential analysis is useful in applications such as regression testing, where we are concerned with finding areas of relative weakness compared to a baseline. We demonstrate the effectiveness of the approach on an aircraft collision avoidance application, where a prototype aircraft collision avoidance system is stress tested to find the most likely scenarios of near mid-air collision.

연구 동기 및 목표

• 스토케스틱하고 연속적이며 부분 관측 가능한 환경에서 작동하는 안전성이 중요한 시스템에서 장애 발생에 이르는 가장 가능성이 높은 경로를 식별하기 위해.
• 내부 시스템 역학이나 상태 표현에 대한 접근이 필요 없는 시뮬레이션 기반 블랙박스 테스팅 프레임워크를 개발하기 위해.
• 복잡한 시스템에서의 부분 관측 가능성을 해결하기 위해 시뮬레이터의 가짜 난수 생성기를 활용하여 은폐된 상태를 추론하기 위해.
• 프레임워크를 확장하여 두 시스템 버전 간의 장애 감수성 차이를 식별함으로써 회귀 테스팅에 유용한 차이 분석을 수행하기 위해.
• 실제 항공기 충돌 회피 시스템에 대해 접근법을 검증하여 실용적 효과성을 입증하기 위해.

제안 방법

• 스토케스틱 환경에서 시간 단위로 장애 발견 문제를 마르코프 결정 과정(Markov decision process, MDP)으로 공식화하기 위해.
• 실패 상태로 향하는 정책을 최적화하기 위해 강화학습을 적용하여 실패 발생 가능성을 최대화하기 위해.
• 부분 관측 가능한 시스템의 경우, 시뮬레이터의 가짜 난수 생성기를 활용하여 은폐된 상태를 추론할 수 있도록 수정된 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)을 사용하기 위해.
• 테스트 대상 시스템으로부터 관측값과 행동 피드백만을 요구하는 블랙박스 인터페이스를 설계하여, 대규모 복잡한 시스템에 적용 가능하게 하기 위해.
• 두 시스템 버전을 비교하여 신규 또는 수정된 시스템에서만 발생하는 장애를 식별할 수 있도록 차등 적응형 스트레스 테스팅(Differential Adaptive Stress Testing, DAST)을 도입하기 위해.
• 해석 모델이나 시스템 내부 정보가 필요 없이 시뮬레이션 기반 최적화를 통해 높은 영향을 미치는 장애 시나리오를 탐색하기 위해.

실험 결과

연구 질문

• RQ1 부분 관측 가능하고 스토케스틱한 안전성이 중요한 시스템에서 장애에 이르는 가장 가능성이 높은 행동 및 환경 조건의 순서는 무엇인가?
• RQ2 연속 상태 공간과 행동 공간을 가진 블랙박스 시스템에 강화학습을 어떻게 적용하여 실패 사건을 효율적으로 식별할 수 있는가?
• RQ3 내부 상태 표현에 접근할 수 없더라도 시뮬레이션 기반 방법이 부분 관측 가능성을 극복할 수 있는가?
• RQ4 AST는 두 시스템 버전 간의 장애 감수성 차이를 어떻게 식별할 수 있도록 확장할 수 있는가?
• RQ5 AST는 실제 안전성이 중요한 응용 분야에서 현실적이고 높은 확률로 발생하는 장애 시나리오를 어느 정도 식별할 수 있는가?

주요 결과

• AST는 프로토타입 항공기 충돌 회피 시스템에서 높은 확률로 발생하는 near mid-air collision 시나리오를 성공적으로 식별하여 실용적 관련성을 입증하였다.
• 시뮬레이터의 가짜 난수 생성기를 활용하여 은폐된 상태를 추론함으로써, 부분 관측 가능한 시스템에서 실패 경로를 효과적으로 발견하였다.
• DAST는 수정된 시스템에서 발생하지만 기준 시스템에서는 발생하지 않는 장애를 탐지하는 데 성공하여 효과적인 회귀 테스팅을 지원하였다.
• 프레임워크는 블랙박스 방식으로 작동하여 내부 시스템 지식이 필요 없어 자율주행차와 같은 대규모 복잡한 시스템에 적용 가능하였다.
• 강화학습을 통해 높은 가능성의 실패 경로에 집중적으로 탐색함으로써, 기존의 스트레스 테스팅 전략보다 성능이 뛰어났다.
• 항공기 충돌 회피 시스템에 대한 실증 결과는 AST가 기존의 테스팅 방법으로는 발견되지 않았던 장애 시나리오를 드러낼 수 있음을 보여주었다.