[논문 리뷰] Automatic Testing and Falsification with Dynamically Constrained Reinforcement Learning

Xin Qin, Nikos Aréchiga외 2명|arXiv (Cornell University)|2019. 10. 30.

Formal Methods in Verification인용 수 16

한 줄 요약

이 논문은 자율 주행 차량과 같은 사이버-물리 시스템의 자동 테스팅 및 위조 검증을 위해, 신호 시간 논리(STL)로 표현된 동적 제약 조건을 통합한 에이전트 중심 강화 학습 프레임워크를 제안한다. 이 방법은 전통적인 위조 검증 기법으로 탐지 가능한 모든 위험 행동을 발견하면서도 계층적 교통 규칙을 준수하는 모듈러하고 재사용 가능한 에이전트를 가능하게 하며, 두 가지 자동차 케이스 스터디에서 검증되었다.

ABSTRACT

We consider the problem of using reinforcement learning to train adversarial agents for automatic testing and falsification of cyberphysical systems, such as autonomous vehicles, robots, and airplanes. In order to produce useful agents, however, it is useful to be able to control the degree of adversariality by specifying rules that an agent must follow. For example, when testing an autonomous vehicle, it is useful to find maximally antagonistic traffic participants that obey traffic rules. We model dynamic constraints as hierarchically ordered rules expressed in Signal Temporal Logic, and show how these can be incorporated into an agent training process. We prove that our agent-centric approach is able to find all dangerous behaviors that can be found by traditional falsification techniques while producing modular and reusable agents. We demonstrate our approach on two case studies from the automotive domain.

연구 동기 및 목표

• 자율 주행 차량 및 항공기와 같은 사이버-물리 시스템의 자동 테스팅 및 위조 검증을 위한 강화 학습 기반 접근법을 개발하는 것.
• 신호 시간 논리(STL)에 의해 계층적으로 정렬된 규칙로 동적 제약 조건을 표현하여 악성 행동에 대한 제어를 가능하게 하는 것.
• 기존의 위조 검증 기법으로 확인 가능한 모든 위험한 시스템 행동을 발견하도록 보장하는 것.
• 실제 운영 제약 조건(예: 교통 규칙)을 준수하는 모듈러하고 재사용 가능한 에이전트를 생성하는 것.
• 복잡한 교통 상황을 포함한 실제 자동차 케이스 스터디를 통해 접근법을 검증하는 것.

제안 방법

• 에이전트의 타당한 행동를 체계적으로 명세할 수 있도록, 신호 시간 논리(STL)에 기반한 계층적으로 정렬된 규칙으로 동적 제약 조건을 모델링하는 것.
• STL 제약 조건을 강화 학습 훈련 과정에 통합하여, 타당하고 현실적인 행동 공간 내에서의 탐색을 안내하는 것.
• 각 에이전트가 지정된 STL 규칙을 준수하면서도 악성 행동을 최대화하도록 훈련하는 에이전트 중심의 훈련 프레임워크를 사용하는 것.
• 제약 조건 위반에 대한 페널티를 주고, 현실적이고 규칙 준수형의 악성 조건 하에서의 시스템 실패 발견을 장려하기 위해 보상 함수를 구성하는 것.
• 훈련 중에 중요한 안전 규칙을 위반하지 않도록 보장하기 위해, 핵심 안전 제약 조건을 우선순위로 하는 계층적 규칙 이행을 적용하는 것.
• STL 기반 보상 형상화와 제약 조건 이행을 통해 가이드되는 정책 최적화를 사용하여, 딥 강화 학습을 통해 에이전트를 종단 간(end-to-end)으로 훈련하는 것.

실험 결과

연구 질문

• RQ1 강화 학습 에이전트는 현실적이고 규칙 기반의 제약 조건을 준수하면서도 사이버-물리 시스템의 위험 행동을 탐지할 수 있는가?
• RQ2 계층적 신호 시간 논리(STL) 제약 조건을 통합할 경우, 악성 테스팅 에이전트의 효과성과 안전성은 어떻게 영향을 받는가?
• RQ3 제안된 에이전트 중심 접근법은 기존의 위조 검증 기법과 동일한 실패 모드 커버리지를 달성할 수 있는가?
• RQ4 훈련된 에이전트가 다양한 테스팅 시나리오 간에 얼마나 모듈러하고 재사용 가능한가?
• RQ5 동적 제약 조건이 있는 에이전트와 제약 조건이 없는 악성 에이전트 간에 현실성과 테스트 커버리지 측면에서 어떤 차이가 있는가?

주요 결과

• 제안된 방법은 기존의 위조 검증 기법으로 탐지 가능한 모든 위험 행동을 성공적으로 발견하여 완전한 커버리지를 확보했다.
• STL 제약 조건을 적용해 훈련된 에이전트는 현실적이며 규칙 준수형의 악성 행동을 생성하여 현실적인 교통 상황을 시뮬레이션한다.
• 제약 조건의 계층적 이행은 훈련 중에 핵심 안전 규칙이 절대 위반되지 않도록 보장한다.
• 에이전트 중심 설계 덕분에 다양한 테스트 시나리오와 시스템 구성 간에 모듈러성과 재사용성이 가능해졌다.
• 두 가지 자동차 케이스 스터디를 통해 검증된 바와 같이, 이 접근법은 운영의 현실성을 유지하면서도 효과적인 테스트 커버리지를 달성한다.
• STL 제약 조건을 강화 학습 훈련 루프에 통합함으로써, 사이버-물리 시스템의 확장 가능하고 검증 가능한 악성 테스팅이 가능해졌다.