[논문 리뷰] A Search-Based Testing Approach for Deep Reinforcement Learning Agents

Amirhossein Zolfagharian, Manel Abdellatif외 3명|arXiv (Cornell University)|2022. 06. 15.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 상태 추상화를 통해 상태 공간 복잡성을 줄이고, 기계 학습 모델에 의해 유도되는 유전 알고리즘을 사용하여 DRL 정책에서 기능 장애를 효율적으로 탐지하는 검색 기반 테스팅 방법인 STARLA를 제안한다. 랜덤 테스팅에 비해 제한된 테스팅 예산 하에서 실패하는 에피소드를 더 효과적으로 식별함으로써, 안전이 중요한 환경에서 DRL 에이전트의 기능 장애를 탐지하는 데 유의미한 성능 향상을 이룬다.

ABSTRACT

Deep Reinforcement Learning (DRL) algorithms have been increasingly employed during the last decade to solve various decision-making problems such as autonomous driving and robotics. However, these algorithms have faced great challenges when deployed in safety-critical environments since they often exhibit erroneous behaviors that can lead to potentially critical errors. One way to assess the safety of DRL agents is to test them to detect possible faults leading to critical failures during their execution. This raises the question of how we can efficiently test DRL policies to ensure their correctness and adherence to safety requirements. Most existing works on testing DRL agents use adversarial attacks that perturb states or actions of the agent. However, such attacks often lead to unrealistic states of the environment. Their main goal is to test the robustness of DRL agents rather than testing the compliance of agents' policies with respect to requirements. Due to the huge state space of DRL environments, the high cost of test execution, and the black-box nature of DRL algorithms, the exhaustive testing of DRL agents is impossible. In this paper, we propose a Search-based Testing Approach of Reinforcement Learning Agents (STARLA) to test the policy of a DRL agent by effectively searching for failing executions of the agent within a limited testing budget. We use machine learning models and a dedicated genetic algorithm to narrow the search towards faulty episodes. We apply STARLA on Deep-Q-Learning agents which are widely used as benchmarks and show that it significantly outperforms Random Testing by detecting more faults related to the agent's policy. We also investigate how to extract rules that characterize faulty episodes of the DRL agent using our search results. Such rules can be used to understand the conditions under which the agent fails and thus assess its deployment risks.

연구 동기 및 목표

• 기능 장애로 인해 치명적인 실패가 발생할 수 있는 안전이 중요한 환경에서 DRL 에이전트를 테스트하는 데 도전하는 것.
• 기존의 적대적 테스팅 방법의 한계를 극복하여 비현실적인 상태를 생성하고 내구성에만 집중하는 것이 아니라 정책 준수성에 초점을 맞추는 것.
• 내부 모델 접근 권한이 필요 없이도 DRL 정책의 기능 장애를 효율적으로 탐지할 수 있는 블랙박스 테스팅 접근법을 개발하는 것.
• 위험 평가 및 정책 개선을 위해 실패하는 에피소드를 특징짓는 해석 가능한 규칙을 추출할 수 있도록 하는 것.
• 상태 추상화와 기계 학습 유도 유전 검색을 통해 검색 공간을 좁혀 테스팅 비용을 줄이는 것.

제안 방법

• 기계 학습 모델은 주어진 에피소드가 장애가 있는지 예측하도록 훈련되어, 유전 알고리즘이 장애 확률이 높은 상태 공간 영역으로 유도되도록 한다.
• 상태 추상화 기법을 적용하여 유사한 상태를 그룹화함으로써 상태 공간의 차원을 감소시키고 모델의 학습 능력을 향상시킨다.
• 환경과 에이전트 정책에만 접근 가능한 데드박스 테스팅 파라다임을 기반으로 운영되며, 내부 모델 파라미터나 학습 데이터는 필요로 하지 않는다.
• 추상화된 상태 공간을 기반으로 맞춤형 유전 연산자를 설계하여 검색 효율성과 수렴 속도를 향상시킨다.
• 실패하는 에피소드를 분석하여 에이전트가 실패하는 조건을 기술하는 해석 가능한 규칙을 추출한다.

실험 결과

연구 질문

• RQ1 제한된 테스팅 예산 하에서 검색 기반 접근법이 랜덤 테스팅에 비해 DRL 에이전트의 기능 장애 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ2 상태 추상화를 사용할 경우 장애 탐지 능력을 유지하면서 상태 공간을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 에피소드 특징에 기반한 기계 학습 모델이 유전 검색을 실패 가능성이 높은 영역으로 효과적으로 유도할 수 있는가?
• RQ4 검색 결과에서 추출할 수 있는 해석 가능한 규칙은 DRL 에이전트의 실패 조건을 어떻게 특징짓는가?
• RQ5 식별된 실패하는 에피소드를 재학습을 통해 정책 개선에 얼마나 효과적으로 활용할 수 있는가?

주요 결과

• 제한된 테스팅 예산 하에서 랜덤 테스팅에 비해 STARLA는 기능 장애를 훨씬 더 많이 탐지하여, 장애 탐지 효율성이 뛰어나다는 것을 입증했다.
• 상태 추상화를 사용함으로써 상태 공간 복잡성이 감소하여 장애 예측 모델의 학습 효율성이 향상되고 검색 수렴 속도가 향상되었다.
• 에피소드 특징에 기반한 기계 학습 모델이 성공적으로 유전 알고리즘을 장애 확률이 높은 영역으로 유도하여 실패하는 에피소드를 식별할 가능성을 높였다.
• 실패하는 에피소드에서 성공적으로 해석 가능한 규칙을 추출하여, 에이전트가 실패하는 특정 환경 및 상태 조건를 규명했다.
• 희귀하지만 치명적인 실패 모드가 존재하는 환경에서, 기준 랜덤 테스팅에 비해 장애 탐지율과 검색 효율성 측면에서 모두 우수한 성능을 보였다.
• 식별된 실패하는 에피소드가 재학습을 통해 정책의 내구성과 안전성을 향상시키는 데 유용할 수 있다는 점에서 잠재적 가치가 있음을 시사한다.