[논문 리뷰] A Continuous-Time Model of an Autonomous Aerial Vehicle to Inform and Validate Formal Verification Methods

Murray Ireland, R. Hoffmann외 3명|arXiv (Cornell University)|2016. 09. 01.

Formal Methods in Verification참고 문헌 23인용 수 4

한 줄 요약

이 논문은 형식 검증 모델을 정보 제공하고 검증하기 위해 자율 비행 임무를 수행하는 멀티로터 UAV의 연속시간 시뮬레이션 모델을 제시한다. 몬테카를로 시뮬레이션을 통해 고장률, 성공 확률과 같은 정량적 임무 성질을 생성함으로써, PRISM에서의 확률적 모델 체킹을 위한 추상적이고 기호적인 모델 개발을 이끌어내어 자율 항공 시스템의 보다 정확하고 철저한 검증을 가능하게 한다.

ABSTRACT

If autonomous vehicles are to be widely accepted, we need to ensure their safe operation. For this reason, verification and validation (V&V) approaches must be developed that are suitable for this domain. Model checking is a formal technique which allows us to exhaustively explore the paths of an abstract model of a system. Using a probabilistic model checker such as PRISM, we may determine properties such as the expected time for a mission, or the probability that a specific mission failure occurs. However, model checking of complex systems is difficult due to the loss of information during abstraction. This is especially so when considering systems such as autonomous vehicles which are subject to external influences. An alternative solution is the use of Monte Carlo simulation to explore the results of a continuous-time model of the system. The main disadvantage of this approach is that the approach is not exhaustive as not all executions of the system are analysed. We are therefore interested in developing a framework for formal verification of autonomous vehicles, using Monte Carlo simulation to inform and validate our symbolic models during the initial stages of development. In this paper, we present a continuous-time model of a quadrotor unmanned aircraft undertaking an autonomous mission. We employ this model in Monte Carlo simulation to obtain specific mission properties which will inform the symbolic models employed in formal verification.

연구 동기 및 목표

• 복잡하고 시간에 따라 변화하는 시스템에 적용 가능하며 철저한 분석이 가능한 형식적 방법을 통해 자율 항공기(UAV)의 검증 과제를 해결하기 위해.
• 고정밀도 시뮬레이션과 기호적 형식 검증 사이의 격차를 메우기 위해 몬테카를로 시뮬레이션을 활용해 정량적 임무 성질을 추출함으로써.
• 시뮬레이션 결과가 PRISM를 사용한 확률적 모델 체킹의 추상화 과정을 검증하고 이끌어내는 프레임워크를 개발하기 위해.
• 추상 기호 모델에서는 놓치지만 연속시간 시뮬레이션에서는 포착되는 UAV 임무의 시스템 수준 행동 및 고장 모드를 식별하기 위해.
• 시뮬레이션 유도 데이터와 형식 검증 모델을 연결하여 재사용 가능하고 적응 가능한 자율 시스템 검증 프레임워크의 기반을 마련하기 위해.

제안 방법

• 정의된 상태(이륙, 탐색, 탐지, 회수, 배달, 복귀)를 갖는 타겟 배달 임무를 수행하는 멀티로터 UAV의 연속시간 수학적 모델을 개발하였다.
• 탐색, 탐지, 회수, 기지 복귀, 타겟 재획득 등의 모드를 포함한 유한 상태 기계(FSM)를 자율 제어에 구현하였다.
• 2,000회의 임무 반복을 수행한 몬테카를로 시뮬레이션을 통해 랜덤 타겟 및 배달지 위치, 센서 인식, 배터리 고갈 등의 확률적 행동을 캡처하였다.
• 성공/실패 비율, 완료 소요 시간, 탐지되지 않은 타겟 또는 동시에 위치한 타겟-배달지 위치와 같은 고장 원인을 포함한 임무 결과를 정량화하였다.
• 시뮬레이션에서 유도된 정량적 지표(예: 고장 확률, 기대 임무 지속 시간)를 활용해 PRISM 모델 체킹을 위한 추상 기호 모델을 구성하였다.
• 특히 시간에 따라 변화하는 행동 및 센서 가림, 지연과 같은 시스템 수준의 세부 사항을 처리하는 데 있어 시뮬레이션과 기호 모델 간의 괴리점을 식별하였다.

실험 결과

연구 질문

• RQ1 연속시간 시뮬레이션을 어떻게 활용하여 UAV 형식 검증의 추상화 과정을 안내하는 신뢰할 수 있는 정량적 임무 성질을 생성할 수 있는가?
• RQ2 시뮬레이션에서는 포착되지만 추상 기호 모델에서는 놓칠 수 있는 자율 UAV 임무의 주요 고장 모드는 무엇인가?
• RQ3 기호 모델에서 단순화된 가정(예: 완벽한 센서, 지연 없음)이 고정밀도 시뮬레이션 대비 정확하지 않은 검증 결과를 초래하는 정도는 어느 정도인가?
• RQ4 몬테카를로 시뮬레이션 결과를 체계적으로 활용하여 PRISM에서 사용하는 기호 모델을 검증하고 개선할 수 있는가?
• RQ5 검증 정확성을 확보하기 위해 기호 모델에 유지되어야 할 핵심 시스템 수준의 동역학(예: 배터리 고갈, 센서 가림)은 무엇인가?

주요 결과

• 시뮬레이션은 타겟 3개 중 2개는 성공적으로 배달했음에도 불구하고, 타겟과 배달지 위치가 무작위로 겹칠 경우 고장이 발생할 수 있음을 드러냈다.
• 약 10%의 임무 고장은 환경의 구석에 위치한 타겟이 감지되지 않아 발생했으며, 이는 초도 FSM 설계에서 예상하지 못한 상황이었다.
• 임무 시작 시점에 이미 배달 반경 내에 존재하는 타겟을 감지하지 못해 UAV가 임무가 실패했다고 잘못 판단하는 경우가 있었다.
• 카메라가 회수 장치에 의해 가려지는 것과 객체 감지 지연과 같은 센서 및 액추에이터 제한 사항은 초도 기호 모델에 반영되지 않아 과도하게 낙관적인 검증 결과를 초래했다.
• 초기 설계에 없었던 '타겟 재획득' 및 '다시 탐색 복귀'와 같은 추가 FSM 상태가 필요하다는 점이 시뮬레이션을 통해 드러났으며, 이는 추상화의 격차를 보여주었다.
• 고장 확률 및 기대 임무 지속 시간과 같은 시뮬레이션에서 유도된 정량적 데이터는 실제 세계의 동역학을 더 잘 반영하기 위해 기호 모델을 보다 정교하게 다듬는 데 필수적이었다.