[논문 리뷰] Testing of Deep Reinforcement Learning Agents with Surrogate Models

Matteo Biagiola, Paolo Tonella|arXiv (Cornell University)|2023. 05. 22.

Reinforcement Learning in Robotics참고 문헌 63인용 수 7

한 줄 요약

본 논문은 Indago를 소개한다. Indago는 DRL 에이전트를 위한 검색 기반 테스트 방법으로, 학습 상호작용으로 훈련된 대리 환경 모델을 사용하여 실패를 예측하고 구성 탐색을 안내하며, 최첨단 무작위 샘플링보다 더 많은 실패 및 더 큰 다양성을 달성한다.

ABSTRACT

Deep Reinforcement Learning (DRL) has received a lot of attention from the research community in recent years. As the technology moves away from game playing to practical contexts, such as autonomous vehicles and robotics, it is crucial to evaluate the quality of DRL agents. In this paper, we propose a search-based approach to test such agents. Our approach, implemented in a tool called Indago, trains a classifier on failure and non-failure environment (i.e., pass) configurations resulting from the DRL training process. The classifier is used at testing time as a surrogate model for the DRL agent execution in the environment, predicting the extent to which a given environment configuration induces a failure of the DRL agent under test. The failure prediction acts as a fitness function, guiding the generation towards failure environment configurations, while saving computation time by deferring the execution of the DRL agent in the environment to those configurations that are more likely to expose failures. Experimental results show that our search-based approach finds 50% more failures of the DRL agent than state-of-the-art techniques. Moreover, such failures are, on average, 78% more diverse; similarly, the behaviors of the DRL agent induced by failure configurations are 74% more diverse.

연구 동기 및 목표

• 게임 플레이를 넘어 실제 세계 맥락에 배치된 DRL 에이전트의 견고한 테스트를 유도한다.
• 학습 시 상호작용 데이터를 활용해 환경의 대리 모델을 구축한다.
• DRL 에이전트의 실패를 유도하는 도전적인 환경 구성을 생성하기 위한 검색 기반 방법을 개발한다.

제안 방법

• DRL 학습 상호작용 데이터(환경 구성, 실패 라벨)에 대해 대리 분류기(또는 회귀기)를 학습한다.
• 대리 모델을 적합도 함수로 사용해 새로운 환경 구성의 탐색 기반 생성을 안내한다.
• 환경 변이 하에서 예측된 실패를 최대화하면서 유효성 제약을 유지하기 위해 Hill Climbing 또는 Genetic Algorithm을 적용한다.
• 학습 중에 관찰된 알려진 실패 구성을 시드로 사용하여 검색을 선택적으로 시작한다.
• 계산 비용 절감을 위해 DRL 에이전트를 가장 유망한 구성에서만 실행한다.

실험 결과

연구 질문

• RQ1 대리 모델 가이드 검색이 최첨단 샘플링보다 더 많은 DRL 실패를 드러낼 수 있는가?
• RQ2 대리-가이드 검색으로 발견된 실패 구성은 환경 인자 및 DRL 행동의 다양성을 더 크게 유도하는가?
• RQ3 실패 탐색을 안내하는 대리 모델로서 분류기와 회귀기 중 어느 성능이 더 잘 나타나는가?
• RQ4 알려진 실패 구성을 시드로 사용하는 것이 효과에 어떤 영향을 미치는가?

주요 결과

• Indago는 최첨단 샘플링보다 약 50% 더 많은 DRL 실패를 발견한다.
• Indago가 발견한 실패 구성은 환경 설정 측면에서 샘플링 대비 약 77% 더 다양하다.
• Indago가 생성한 실패로 유도된 DRL 에이전트의 행동은 약 74% 더 다양하다.
• 이 접근법은 고예측 실패 구성에서만 DRL 에이전트를 실행하여 계산량을 절감한다.
• 실험 설정에는 주차, 보행 휴머노이드, 자율주행 자동차 과제의 세 가지 복잡한 사례 연구가 포함된다.