[논문 리뷰] Automatic Testing With Reusable Adversarial Agents

Xin Qin, Nikos Aréchiga외 2명|arXiv (Cornell University)|2019. 10. 30.

Reinforcement Learning in Robotics참고 문헌 32인용 수 9

한 줄 요약

이 논문은 환경를 제약 조건이 있는 적대적 에이전트(ado 에이전트)로 모델링함으로써 자율 시스템의 자동 적대적 테스팅을 위한 재사용 가능한 강화학습 기반 프레임워크를 제안한다. 시그널 시간 논리(STL)를 사용하여 시스템 동작과 환경 제약 조건을 명시함으로써, 훈련된 적대적 정책이 재훈련 없이 다양한 자동차 에이전트의 초기 조건과 동역학에 대해 일반화할 수 있도록 한다.

ABSTRACT

Autonomous systems such as self-driving cars and general-purpose robots are safety-critical systems that operate in highly uncertain and dynamic environments. We propose an interactive multi-agent framework where the system-under-design is modeled as an ego agent and its environment is modeled by a number of adversarial (ado) agents. For example, a self-driving car is an ego agent whose behavior is influenced by ado agents such as pedestrians, bicyclists, traffic lights, road geometry etc. Given a logical specification of the correct behavior of the ego agent, and a set of constraints that encode reasonable adversarial behavior, our framework reduces the adversarial testing problem to the problem of synthesizing controllers for (constrained) ado agents that cause the ego agent to violate its specifications. Specifically, we explore the use of tabular and deep reinforcement learning approaches for synthesizing adversarial agents. We show that ado agents trained in this fashion are better than traditional falsification or testing techniques because they can generalize to ego agents and environments that differ from the original ego agent. We demonstrate the efficacy of our technique on two real-world case studies from the domain of self-driving cars.

연구 동기 및 목표

• 안전 중심의 사이버-물리 시스템에서 비적응형, 비일반화 가능한 테스팅 방법의 한계를 해결하기 위해.
• 실제 환경 제약 조건 하에서 자동차 에이전트의 실패를 유도할 수 있는 재사용 가능한 적대적 에이전트의 합성 가능성을 보장하기 위해.
• 강화학습 기반 오류 발견에서 수동 보상 설계가 필요 없도록 하기 위해, 사양과 제약 조건을 통합된 보상 함수에 직접 통합함으로써.
• 훈련된 적대적 정책이 다양한 자동차 에이전트의 동역학과 초기 조건에 대해 일반화되며, 반복적 설계에서의 재테스트 오버헤드를 줄임을 입증하기 위해.

제안 방법

• 설계 중인 시스템(SUD)을 자동차 에이전트로 모델링하고, 그 환경을 각각 학습된 정책에 의해 지배되는 적대적(ado) 에이전트의 조합으로 모델링한다.
• 자신의 에이전트의 원하는 행동과 ado 에이전트의 제약된 행동(예: 속도 제한, 교통 규칙 등)을 공식적으로 지정하기 위해 시그널 시간 논리(STL)를 사용한다.
• 사양 위반과 제약 조건 이행을 위한 STL 강건성의 조합을 포함하는 통합 보상 함수를 제안하여 딥 강화학습을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 표본 테이블 및 딥 Q-학습을 사용하여 ado 에이전트를 훈련시켜 자동차 에이전트의 사양 위반을 유도하는 닫힌 루프, 반응형 적대적 정책을 합성한다.
• 훈련된 적대적 정책을 새로운 초기 조건과 시스템 동역학에 적용하여 일반화 및 재사용성을 평가한다.
• 복잡한 시나리오에서의 탐색과 수렴을 향상시키기 위해 몬테카를로 트리 탐색(MCTS)과 가치 함수 근사 기법을 사용한다.

실험 결과

연구 질문

• RQ1 강화학습을 통해 훈련된 적대적 에이전트가 재훈련 없이 자동차 에이전트의 새로운 초기 조건과 동역학에 일반화할 수 있는가?
• RQ2 통합된 보상 함수에 STL 기반 사양과 제약 조건를 통합할 경우, 적대적 정책 학습의 성능과 수렴에 어떤 영향을 미치는가?
• RQ3 동적으로 제약된 적대적 에이전트가 전통적인 오류 발견 및 탐색 기반 테스팅에 비해 더 다양한 비트리비얼 실패 시나리오를 발견하는 데 얼마나 뛰어난가?
• RQ4 안전 중심의 자율 시스템에서 다양한 시스템 구성에 대해 적대적 정책의 재사용이 가능하게 하는 조건은 무엇인가?

주요 결과

• 훈련된 적대적 정책은 새로운 초기 조건과 시스템 동역학으로 일반화되어 재훈련 없이 다양한 자동차 에이전트 구성에 재사용 가능하다.
• 이 방법은 기존의 비적응형 오류 발견 기법으로는 발견할 수 없는 실패 시나리오를 자율 주행 차량 사례 연구에서 성공적으로 식별한다.
• STL로 인코딩된 제약 조건을 가진 적대적 에이전트는 제약 조건이 없는 또는 수작업 보상 기반 방법보다 더 현실적이고 비트리비얼한 실패를 유도하는 행동을 생성한다.
• 이 방법은 고정된 액션 시퀀스를 학습하는 탐색 기반 또는 블랙박스 오류 발견보다 더 나은 일반화 성능을 달성한다. 이는 반응형이고 닫힌 루프 정책을 학습하기 때문이다.
• 훈련 기간 동안 이전에 경험하지 못한 근접한 자동차 및 ado 에이전트의 속도와 거리 값에서 실패하는 초기 상태가 발견되었으며, 이는 효과적인 탐색을 의미한다.
• STL 강건성과 제약 조건에 기반한 통합 보상 함수의 사용은 수동 보상 설계가 필요 없게 하여 확장성과 유지보수성을 향상시킨다.