[논문 리뷰] Verification for Machine Learning, Autonomy, and Neural Networks Survey

Weiming Xiang, Patrick Musau외 6명|arXiv (Cornell University)|2018. 10. 03.

Adversarial Robustness in Machine Learning참고 문헌 90인용 수 93

한 줄 요약

학습 강화 구성요소를 갖춘 안전-중요 자율 사이버물리 시스템에서 검증 방법에 대한 포괄적 조사로, 아키텍처, 학습, 제어, 그리고 명세 학습 접근법을 다룬다.

ABSTRACT

This survey presents an overview of verification techniques for autonomous systems, with a focus on safety-critical autonomous cyber-physical systems (CPS) and subcomponents thereof. Autonomy in CPS is enabling by recent advances in artificial intelligence (AI) and machine learning (ML) through approaches such as deep neural networks (DNNs), embedded in so-called learning enabled components (LECs) that accomplish tasks from classification to control. Recently, the formal methods and formal verification community has developed methods to characterize behaviors in these LECs with eventual goals of formally verifying specifications for LECs, and this article presents a survey of many of these recent approaches.

연구 동기 및 목표

• 안전-중요 CPS에서 AI/ML의 안전한 통합을 촉진하고 검증 및 형식 방법의 역할을 개요한다.
• 학습 가능 구성요소(LECs) 대상 자율 CPS의 아키텍처, 안전 아키텍처, 그리고 런타임 모니터링 접근법을 요약한다.
• 자율성에서 신경망의 검증 방법, 도달성 분석, 그리고 학습 기반 제어를 검토한다.
• 이 영역에서 통계적 ML 방법이 상징적 형식 검증과 어떻게 대조되는지 강조한다.

제안 방법

• 자율 CPS에서 LEC에 대한 최근 검증 접근법에 대한 조사 및 종합.
• 실용적 검증 계층으로서 안전 모니터링, 런타임 검증, 런타임 보장을 논의한다.
• 도달성 및 Lyapunov 기반 방법을 포함한 아키텍처 수준 및 제어 이론적 검증 기법에 대한 개요.
• STL 및 불리언 수식과 같은 안전 속성에 대한 학습 기반 명세 추론 및 학습을 검토한다.
• 온라인 적응 및 정책 학습 중 학습 기반 제어 프레임워크와 안전 보장을 제시한다.

실험 결과

연구 질문

• RQ1 자율 CPS에서 학습 가능 구성요소의 안전성을 보장하기 위해 어떤 검증 방법이 존재합니까?
• RQ2 안전 아키텍처, 런타임 모니터링, 도달성 분석이 신뢰할 수 있는 자율 시스템에 어떻게 기여할 수 있습니까?
• RQ3 ML 주도 구성요소에 형식적 보장을 제공할 수 있는 어떤 학습 및 명세 추론 접근법이 있습니까?
• RQ4 온라인 적응 중 학습 기반 제어 방법이 어떻게 안정성과 안전을 보장합니까?

주요 결과

• 본 조사는 복잡한 자율 CPS에서 완전한 형식 검증이 구현 불가능한 경우 실용적 방법으로 아키텍처 수준 안전 조치, 런타임 검증, 런타임 보장을 식별한다.
• LEC 안전성 검증의 핵심 영역으로 신경망 검증, 도달성 분석, 학습 기반 제어를 다룬다.
• ML 구성요소로부터 형식적 안전 속성을 추출하는 도구로 명세 추론과 STL/불리언 수식 학습을 논의한다.
• 문서는 안전 보장의 맥락에서 기호적/형식적 방법과 데이터 기반 ML 방법 간의 차이점을 강조한다.
• 자율주행 및 기타 CPS의 사례를 제시하여 LEC의 검증 및 테스트 프레임워크를 설명한다.