[논문 리뷰] Adaptive Stress Testing with Reward Augmentation for Autonomous Vehicle Validation

Anthony Corso, Peter Du외 2명|arXiv (Cornell University)|2019. 08. 02.

Vehicle Dynamics and Control Systems참고 문헌 15인용 수 21

한 줄 요약

이 논문은 자율주행차 검증을 위한 적응형 스트레스 테스팅(Adaptive Stress Testing, AST)에 보상 증강을 제안하며, 책임감 있는 안전(Responsibility-Sensitive Safety, RSS) 원칙과 궤도 이질성 지표를 통합한다. AST 보상 함수를 수정하여 자율주행차가 부적절하게 행동하는 경우와 다양한 고장 유형을 우선시함으로써, 기존 기준 AST에서 발견되지 않은 차량 유도 충돌을 포함한 더 넓고 관련성이 높은 고장 시나리오 집합을 식별한다. 이는 고장 다양성 증가와 함께 입증되었다.

ABSTRACT

Determining possible failure scenarios is a critical step in the evaluation of autonomous vehicle systems. Real-world vehicle testing is commonly employed for autonomous vehicle validation, but the costs and time requirements are high. Consequently, simulation-driven methods such as Adaptive Stress Testing (AST) have been proposed to aid in validation. AST formulates the problem of finding the most likely failure scenarios as a Markov decision process, which can be solved using reinforcement learning. In practice, AST tends to find scenarios where failure is unavoidable and tends to repeatedly discover the same types of failures of a system. This work addresses these issues by encoding domain relevant information into the search procedure. With this modification, the AST method discovers a larger and more expressive subset of the failure space when compared to the original AST formulation. We show that our approach is able to identify useful failure scenarios of an autonomous vehicle policy.

연구 동기 및 목표

• 자율주행차 검증에서 AST가 유일하게 피할 수 없는 또는 반복적인 고장 유형만을 발견하는 데서 비롯되는 한계를 해결하기 위해.
• 책임감 있는 안전(RSS) 프레임워크에서 도메인 특화 지식을 통합함으로써 AST의 관련성을 향상시키기 위해.
• 보상 함수에 궤도 이질성 지표를 도입함으로써 고장 유형의 다양성을 증가시키기 위해.
• 의미 있는 정책 기반 약점들을 식별함으로써 시뮬레이션 기반 자율주행차 정책 검증을 더욱 효과적으로 수행하기 위해.
• 보상 증강이 표준 AST보다 더 정보적인 고장 케이스를 발견하는 데 기여함을 입증하기 위해.

제안 방법

• 자율주행차가 잠재적 충돌에 적절히 대응하지 못하는 경우를 방지하기 위해 RSS 기반 규칙을 활용해 AST 보상 함수를 보완한다.
• 상태 궤도의 차이를 측정함으로써 서로 다른 고장 유형 탐색을 장려하는 궤도 이질성 지표를 도입한다.
• 시뮬레이션 환경에서 보상 함수를 보완한 상태에서 정책 최적화를 위해 몬테카를로 트리 검색(Monte Carlo Tree Search, MCTS)을 사용한다.
• 차량, 보행자, 자율주행차 간의 거리 임계값(예: <0.5m)을 기반으로 고장 상태를 정의한다.
• 성능 평가를 위해 이중 차량, 이중 보행자 횡단보도 시나리오에 보상 함수를 적용한다.
• 정량적 고장 유형 수와 시각적 궤도 분석을 통해 일반 AST와 RSS 및 이질성 보상이 적용된 AST 간 결과를 비교한다.

실험 결과

연구 질문

• RQ1 RSS 기반 보상 증강이 자율주행차가 부적절하게 반응하는 고장을 탐지하는 데 AST의 능력을 향상시키는가?
• RQ2 궤도 이질성 지표를 통합함으로써 AST가 탐지하는 고장 유형의 다양성이 증가하는가?
• RQ3 보상 증강된 AST 방법은 기준 AST에 비해 관련성 있고 정책을 드러내는 고장 시나리오를 얼마나 잘 식별하는가?
• RQ4 RSS와 이질성 보상의 조합이 표준 AST에서 발견되지 않은 차량 유도 고장을 탐지하는 데 기여하는가?
• RQ5 보상 증강이 단일한, 정보가 없는 고장 유형으로 수렴하는 것을 어느 정도 줄이는가?

주요 결과

• 일반적인 AST 보상으로는 25개의 고장 중 25개가 정지된 자율주행차가 경로에 진입하는 보행자로 인한 유형이었으며, 이는 모두 피할 수 없는 충돌에 해당한다.
• RSS 보상 증강은 AST가 자율주행차가 적절히 브레이크를 밟지 못하는 4개의 차량/보행자 고장을 성공적으로 탐지하도록 이끌었다. 이는 자율주행차의 부적절한 행동을 반영한다.
• 궤도 이질성(Trajectory Dissimilarity, TD) 보상은 자율주행차가 너무 가까이 접근하는 6개의 차량/차량 고장을 탐지하도록 도와주었으며, 이는 정책의 한계를 드러낸다.
• TD 보상 방법은 고장 다양성을 증가시켜 기준 AST 설정에서 발견되지 않은 차량 유도 고장 및 차량/차량 고장 유형을 모두 탐지하였다.
• 결과적으로 보상 증강은 표준 AST보다 더 표현력 있고 관련성이 높은 고장 공간을 제공함을 보여주었다.
• 시각적 분석을 통해 보상 증강된 AST 방법이 더 다양한 궤도와 더 현실적이며 정책을 드러내는 고장 패턴을 생성함을 확인하였다.