[논문 리뷰] Counter-example Guided Learning of Bounds on Environment Behavior

Yuxiao Chen, Sumanth Dathathri외 2명|arXiv (Cornell University)|2020. 01. 20.

Formal Methods in Verification참고 문헌 16인용 수 4

한 줄 요약

이 논문은 안전 중심 제어기의 검증을 위해 모델링되지 않은 환경 행동에 대한 보존적이고 상태에 따라 변하는 경계를 학습하기 위한 데이터 기반, 반례 유도 프레임워크를 제안한다. 실제 데이터에서 오해를 풀고 지지 벡터 기반 기계학습을 결합함으로써, 정확한 환경 모델이 필요 없이도 형식적 검증이 가능한 반응형 경계를 반복적으로 개선한다. 인간 주행 데이터를 사용하여 레인 체인지 제어기를 99.9% 신뢰도로 성공적으로 검증하였다.

ABSTRACT

There is a growing interest in building autonomous systems that interact with complex environments. The difficulty associated with obtaining an accurate model for such environments poses a challenge to the task of assessing and guaranteeing the system's performance. We present a data-driven solution that allows for a system to be evaluated for specification conformance without an accurate model of the environment. Our approach involves learning a conservative reactive bound of the environment's behavior using data and specification of the system's desired behavior. First, the approach begins by learning a conservative reactive bound on the environment's actions that captures its possible behaviors with high probability. This bound is then used to assist verification, and if the verification fails under this bound, the algorithm returns counter-examples to show how failure occurs and then uses these to refine the bound. We demonstrate the applicability of the approach through two case-studies: i) verifying controllers for a toy multi-robot system, and ii) verifying an instance of human-robot interaction during a lane-change maneuver given real-world human driving data.

연구 동기 및 목표

• 복잡하고 제어되지 않은 환경의 정확한 모델이 없이도 자율 시스템 제어기의 형식적 검증을 가능하게 하기 위해.
• 환경 역학이 알려져 있거나 명시적으로 모델링하기에 너무 복잡한 경우에 안전 중심 시스템의 검증에 도전하는 데에.
• 반복적으로 실패하는 반례를 활용하여 환경 행동에 대한 보수적인 경계를 개선하는 피드백 루프를 개발하기 위해.
• 랜덤 볼록 프로그래밍 이론을 사용하여 학습된 환경 경계의 정확성에 대한 확률적 보장을 제공하기 위해.

제안 방법

• 프레임워크는 신호 시간 논리(STL)로 작성된 사양을 위반하는 제어기의 반례를 생성하기 위해 오류 검증(falsification)을 사용한다.
• 반례 트레이스는 부정적 데이터로 간주되며, 자연스러운 환경 행동 데이터는 양성 데이터로 사용된다.
• 지지 벡터 기반 기계학습(SVM)은 양성 및 부정성 데이터를 기반으로 시스템 상태에 따라 변하는 환경 행동에 대한 반응형 경계를 학습한다.
• 반응형 경계는 타당한 환경 행동의 보수적인 초과 근사치이며, 제어기가 이 경계 하에서 안전하다고 입증되면 실제 환경에서도 높은 확률로 안전하다는 것을 보장한다.
• 과정은 반복적으로 진행된다: 오류 검증이 성공하면 새로운 반례를 사용하여 경계를 개선하고, 그렇지 않으면 경계가 검증에 충분하다고 간주한다.
• 랜덤 볼록 프로그래밍(RCP)을 사용하여 경계의 신뢰성에 대한 이론적 보장을 도출함으로써, 실제 환경 행동을 높은 신뢰도로 커버할 수 있도록 보장한다.

실험 결과

연구 질문

• RQ1 복잡하고 제어되지 않은 환경의 전체 역학을 모델링하지 않고도 제어기의 안전성을 검증할 수 있는가?
• RQ2 실제 데이터와 시스템 사양에서 보수적이고 상태에 따라 변하는 환경 행동 경계를 어떻게 학습할 수 있는가?
• RQ3 오류 검증에서 유도된 반례를 사용하여 환경 경계를 반복적으로 개선하여 성공적인 검증을 달성할 수 있는가?
• RQ4 제어기의 정책과 시스템 사양은 환경 행동 경계 학습을 어떻게 이끌어내는가?
• RQ5 학습된 환경 경계의 정확성에 대한 확률적 보장을 어떻게 제공할 수 있는가?

주요 결과

• 이 프레임워크는 SPMD 데이터베이스에서 확보한 실제 인간 주행 데이터를 사용하여 레인 체인지 조작을 위한 모델 예측 제어(MPC) 제어기를 성공적으로 검증하였다.
• 4회의 반복 과정을 거쳐 학습된 반응형 경계를 통해 더 이상 반례가 생성되지 않아, 제어기가 STL 사양을 높은 신뢰도로 만족한다는 것이 확인되었다.
• 레인 체인지 사례에서 평균 29.6초 내로 검증을 완료하여 계산 효율성을 입증하였다.
• 충돌 회피 제약 조건을 제거한 경우, 오류 검증이 충돌을 유발하는 행동을 성공적으로 식별하여 제어기 재설계를 위한 실질적인 피드백을 제공하였다.
• 인간 주행 차량의 가속도에 대한 반응형 경계는 상태 $ x $ 에 따라 변하는 상한 $ a^{ ext{max}}_{ ext{max}}(x) $ 로 학습되었으며, 이는 환경의 반응 행동을 잘 반영하였다.
• 이 방법은 만능 다중로봇 시스템과 실제 자율 주행 시나리오 양쪽 모두에서 뛰어난 일반화 능력을 보이며, 강건성을 입증하였다.