[논문 리뷰] A Survey of Algorithms for Black-Box Safety Validation.

Anthony Corso, Robert J. Moss외 3명|arXiv (Cornell University)|2020. 05. 06.

Software Testing and Debugging Techniques참고 문헌 90인용 수 40

한 줄 요약

이 논문은 형식적 검증이 불가능하고 실제 세계 테스트가 너무 위험한 복잡한 시스템에서 효율적인 위반 검증, 고장 모드 식별, 고장 확률 추정을 가능하게 하는 데 초점을 맞춘, 안전이 중요한 자율 시스템에서의 블랙박스 안전 검증을 위한 최신 알고리즘을 종합적으로 조사한다. 주요 기술로는 최적화, 강화 학습, 경로 계획, 중요도 표본 추출을 포함한다.

ABSTRACT

Autonomous and semi-autonomous systems for safety-critical applications require rigorous testing before deployment. Due to the complexity of these systems, formal verification may be impossible and real-world testing may be dangerous during development. Therefore, simulation-based techniques have been developed that treat the system under test as a black box during testing. Safety validation tasks include finding disturbances to the system that cause it to fail (falsification), finding the most-likely failure, and estimating the probability that the system fails. Motivated by the prevalence of safety-critical artificial intelligence, this work provides a survey of state-of-the-art safety validation techniques with a focus on applied algorithms and their modifications for the safety validation problem. We present and discuss algorithms in the domains of optimization, path planning, reinforcement learning, and importance sampling. Problem decomposition techniques are presented to help scale algorithms to large state spaces, and a brief overview of safety-critical applications is given, including autonomous vehicles and aircraft collision avoidance systems. Finally, we present a survey of existing academic and commercially available safety validation tools.

연구 동기 및 목표

• 형식적 검증이 불가능하고 실제 세계 테스트가 너무 위험한 안전이 중요한 자율 시스템을 검증하는 데 도전 과제를 해결한다.
• 이론적 형식화보다는 실용적 기법을 중시하여 블랙박스 안전 검증에 특화된 적용 알고리즘을 종합적으로 조사한다.
• 큰 상태 공간에 대해 확장 가능한 안전 검증을 가능하게 하기 위해 문제 분해 기법을 활용한다.
• 연구자와 실무자들이 적절한 검증 프레임워크를 선택하는 데 도움이 되도록 학술적 및 상용 도구를 조사한다.
• 실제 응용 분야에 중점을 두어 이론적 방법을 실질적 맥락에 맞추기 위해 자율 주행 차량 및 항공기 충돌 회피 시스템과 같은 사례를 다룬다.

제안 방법

• 시스템을 테스트 대상으로 삼는 블랙박스로 간주하고, 고장을 유도하는 악성 입력을 탐색하기 위해 최적화 기반 기법을 활용한다.
• 복잡하고 고차원적인 입력 공간을 효율적이고 체계적으로 탐색하기 위해 경로 계획 알고리즘을 통합한다.
• 제약 조건이 있는 탐색 범위 내에서 고장을 유도할 가능성이 높은 악성 정책을 학습하기 위해 강화 학습을 활용한다.
• 희귀하지만 중요한 고장 사건에 집중함으로써 고장 확률 추정의 통계적 효율성을 향상시키기 위해 중요도 표본 추출을 적용한다.
• 상태공간 분할 및 모듈화와 같은 문제 분해 전략을 사용하여 대규모 복잡한 시스템에 대해 검증 알고리즘의 확장성을 확보한다.
• 최적화, 강화 학습, 경로 계획, 중요도 표본 추출 등의 다양한 알고리즘 가족을 통합하여 안전 검증의 강건성과 커버리지 향상을 도모한다.

실험 결과

연구 질문

• RQ1 안전이 중요한 시스템에서 블랙박스 안전 검증에 가장 효과적인 알고리즘 가족은 무엇인가?
• RQ2 최적화와 강화 학습는 고차원 입력 공간을 효율적으로 탐색하여 고장을 발견하는 데 어떻게 적응시킬 수 있는가?
• RQ3 경로 계획과 중요도 표본 추출은 고장 확률 추정의 효율성과 정확도를 향상시키는 데 어떤 역할을 하는가?
• RQ4 문제 분해 기법은 큰 상태공간에 대한 안전 검증을 어떻게 확장하는 데 활용할 수 있는가?
• RQ5 도구 분야에는 현재 어떤 격차가 있으며, 기존의 학술적 및 상용 도구는 실무적 안전 검증을 어떻게 지원하거나 제한하는가?

주요 결과

• 특히 기울기 기반 또는 진화 전략을 사용하는 최적화 기반 방법은 고장을 유도하는 악성 입력을 식별함으로써 위반 검증에 효과적이다.
• 강화 학습 접근법은 복잡한 환경에서 고장을 유도하는 행동을 체계적으로 탐색할 수 있는 악성 정책을 학습할 수 있다.
• 중요도 표본 추출은 희귀하지만 영향력이 큰 고장 시나리오에 집중함으로써 고장 확률 추정의 통계적 효율성을 크게 향상시킨다.
• 상태공간 추상화 및 모듈화와 같은 문제 분해 기법은 고차원 입력을 가진 대규모 시스템에 대한 확장 가능한 검증을 가능하게 한다.
• 안전 검증을 위한 학술적 및 상용 도구가 존재하지만, 도구 간 상호운용성, 자동화, 실시간 또는 임베디드 시스템 검증 지원 측면에서 여전히 큰 격차가 존재한다.
• 최적화, 강화 학습, 경로 계획, 중요도 표본 추출 등의 다양한 알고리즘 가족을 통합하면 단일 접근법보다 더 강건하고 종합적인 안전 검증이 가능하다.