[논문 리뷰] VERIFAI: A Toolkit for the Design and Analysis of Artificial Intelligence-Based Systems

Tommaso Dreossi, Daniel J. Fremont외 5명|arXiv (Cornell University)|2019. 02. 12.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 12

한 줄 요약

VerifAI는 시뮬레이션, 형식적 명세, 확률적 환경 모델링을 통합하여 시스템 수준 분석을 가능하게 하는 AI/ML 기반 사이버-물리 시스템을 위한 형식적 검증 툴킷이다. 시간 논리 기반 위반 검출, 반례 유도 데이터 증강, 하이퍼파rameter 및 파rameter 합성, 그리고 의미적 특성 공간과 Scenic 기반 환경 모델링을 통한 내구성 테스트를 지원하여 자율 주행차 및 제어 시스템 사용 사례에서 검증된 시스템 행동 향상을 달성한다.

ABSTRACT

We present VERIFAI, a software toolkit for the formal design and analysis of systems that include artificial intelligence (AI) and machine learning (ML) components. VERIFAI particularly seeks to address challenges with applying formal methods to perception and ML components, including those based on neural networks, and to model and analyze system behavior in the presence of environment uncertainty. We describe the initial version of VERIFAI which centers on simulation guided by formal models and specifications. Several use cases are illustrated with examples, including temporal-logic falsification, model-based systematic fuzz testing, parameter synthesis, counterexample analysis, and data set augmentation.

연구 동기 및 목표

• 안전 기반 사이버-물리 시스템에서 인식 및 학습 구성 요소를 갖는 AI/ML 기반 시스템을 검증하는 데 도전하는 문제를 해결한다.
• 원시 센서 데이터 대신 시스템 수준의 성질과 추상적 의미적 특성 공간을 사용하여 인식 구성 요소를 명세하는 데 어려움을 해결한다.
• 반례 기반 데이터 증강, 파rameter 합성, 하이퍼파rameter 튜닝을 통해 기계 학습 구성 요소의 형식적 분석 및 설계를 가능하게 한다.
• 형식적 방법과 데이터 기반 기계 학습 워크플로우를 통합하는 시뮬레이션 기반 검증을 위한 통합 프레임워크를 제공한다.
• 의미적 특성에 대한 가이드된 검색을 통해 복잡하고 불확실한 환경에서 내구성 분석 및 명세 위반 탐지를 수행한다.

제안 방법

• AI 시스템(인식, 계획기/제어기, 플랜트)과 환경 모델로 구성된 폐쇄 루프 CPS 모델을 사용하며, 시스템 수준의 명세를 검증 대상으로 한다.
• 의미적 특성 공간 추상화를 적용하여 고차원 입력(예: 이미지, LiDAR)을 의미 있는 환경적 특성으로 표현함으로써 확장 가능한 형식적 분석을 가능하게 한다.
• Scenic이라는 확률적 프로그래밍 언어를 통합하여 에이전트 수, 위치, 행동 등 불확실성을 포함한 환경를 기술적으로 모델링한다.
• 시간 논리 성질을 사용한 시뮬레이션 유도 위반 검출을 적용하여 AI/ML 구성 요소에서의 명세 위반을 탐지한다.
• 위반 검출기에서 생성한 잘못 분류된 샘플(예: 여러 대의 차량이 있는 잘못 분류된 이미지)을 활용하여 모델을 재학습함으로써 반례 기반 데이터 증강을 구현한다.
• OpenAI Gym과 같은 환경의 보상 함수를 최적화 기준으로 삼아 의미적 특성 공간을 따라 가이드된 검색을 통해 하이퍼파rameter 및 모델 파rameter 합성을 지원한다.

실험 결과

연구 질문

• RQ1 인식 구성 요소에 형식적 명세가 없을 경우, 사이버-물리 시스템의 AI/ML 구성 요소에 형식적 방법을 효과적으로 적용할 수 있는가?
• RQ2 의미적 특성 공간과 확률적 환경 모델링이 AI 시스템의 시뮬레이션 기반 검증의 확장성과 현실성에 얼마나 기여하는가?
• RQ3 반례 기반 데이터 증강이 안전 기반 응용 분야에서 훈련된 기계 학습 모델의 내구성과 정확도를 크게 향상시킬 수 있는가?
• RQ4 의미적 특성에 대한 가이드된 검색이 복잡하고 불확실한 환경에서 시스템 수준의 명세 위반을 탐지하는 데 얼마나 효과적인가?
• RQ5 하이퍼파rameter 및 모델 파rameter의 형식적 합성은 학습된 제어기의 신뢰성과 성능 향상에 어떤 역할을 할 수 있는가?

주요 결과

• VerifAI는 1,000개의 샘플링된 파라미터 구성에서 카트폴 컨트롤러에서 38개의 명세 위반을 성공적으로 탐지하여 효과적인 내구성 테스트를 수행했다.
• 반례 기반 데이터 증강은 모델 성능 향상에 기여하였으며, 실험 결과 잘못 분류된 샘플(예: 여러 대의 차량이 있는 이미지)을 재학습에 활용함으로써 탐지 정확도가 향상됨을 확인했다.
• 툴킷은 산악 자동차 컨트롤러에 대해 효과적인 하이퍼파라미터 검색을 가능하게 하여 신경망이 언덕을 오르는 데 성공한 구성 요소를 식별했다.
• PCA 기반 오류 테이블 분석을 통해 잘못 분류의 패턴을 파악하고, 이에 기반해 타겟된 재학습과 모델 실패 원인에 대한 통찰을 확보할 수 있었다.
• Scenic을 통한 환경 모델링 통합은 복잡하고 불확실한 도시 교통 시나리오를 직관적이고 기술적으로 기술할 수 있도록 했다.
• VerifAI의 통합 프레임워크는 의미적 특성 공간 추상화를 기반으로 한 하나의 공간 내에서 위반 검출, 퍼지 테스팅, 파라미터 합성, 데이터 증강 등의 다양한 검증 및 설계 작업을 지원한다.