[논문 리뷰] Towards Verified Artificial Intelligence

Sanjit A. Seshia, Dorsa Sadigh외 1명|arXiv (Cornell University)|2016. 06. 27.

Formal Methods in Verification참고 문헌 77인용 수 88

한 줄 요약

이 논문은 인공지능 검증을 위한 형식적 방법 프레임워크를 제안하며, 환경 모델링, 시스템 성질 기술, 학습 기반 시스템 검증과 같은 과제를 다룹니다. 특히 자율주행차와 같은 안전이 핵심인 분야에서 증명 가능한 정확성을 확보하기 위해, 주동적 데이터 기반 모델링, 계층적 사양, 의미론적 추상화, 조합적 추론, 런타임 보장이라는 다섯 가지 핵심 원칙을 도입합니다.

ABSTRACT

Verified artificial intelligence (AI) is the goal of designing AI-based systems that that have strong, ideally provable, assurances of correctness with respect to mathematically-specified requirements. This paper considers Verified AI from a formal methods perspective. We describe five challenges for achieving Verified AI, and five corresponding principles for addressing these challenges.

연구 동기 및 목표

• 자율주행차 및 의료 분야와 같이 안전이 핵심인 분야에서 증가하는 사회적 위험을 해결합니다.
• 복잡하고 불확실하며 동적인 환경에서 인공지능 및 머신러닝 시스템에 적용할 때 전통적 형식적 방법의 한계를 극복합니다.
• 형식적 사양, 검증, 런타임 모니터링을 활용하여 증명 가능한 정확성 보장을 제공하는 원칙적인 프레임워크를 개발합니다.
• 설계 시점 보장과 런타임 보장을 통합하여 이론적 형식적 검증과 실질적 AI 시스템 구현 사이의 격차를 메웁니다.
• 형식적 합성, 의미론적 모델링, 하이브리드 검증 기법을 통해 확장 가능하고 신뢰할 수 있는 AI의 비전도를 제공합니다.

제안 방법

• 수학적 사양과 알고리즘 기반 증명 검색을 사용하여 시스템 행동을 검증하는 형식적 방법적 접근을 채택합니다.
• 불확실성과 인간 상호작용을 포괄하기 위해 주동적, 자기진단적, 확률적 환경 모델링을 제안합니다.
• 시스템 수준 요구사항에서 출발하여 구성요소 수준 성질을 유도하는 계층적 사양 기법을 도입합니다.
• 이산 논리와 연속 동역학을 결합하기 위해 하이브리드 부울-양적 사양을 사용하여 사이버-물리 시스템의 검증을 가능하게 합니다.
• 복잡하고 데이터 기반의 모델에 대한 검증을 확장하기 위해 조합적 추론과 제어된 랜덤화를 적용합니다.
• 모니터링 및 백업 모듈(예: Simplex 아키텍처)을 통한 런타임 보장을 통합하여 형식적 검증이 완료되지 않았을 경우에도 안전 보장을 제공합니다.

실험 결과

연구 질문

• RQ1 학습 기반 성질을 지닌 AI 기반 시스템을 검증하기 위해 형식적 방법을 어떻게 조정할 수 있을까요? 특히 불확실하고 동적인 환경에서 말이죠?
• RQ2 안전이 핵심인 시스템 내에서 머신러닝 모델의 확장 가능하고 실용적인 검증을 가능하게 하는 원칙은 무엇인가요?
• RQ3 시스템 구성요소 간에 형식적 사양을 어떻게 유도하고 유지할 수 있을까요? 이는 종단 간 검증을 지원하기 위한 것입니다.
• RQ4 완전한 형식적 검증이 불가능할 경우, 런타임 모니터링 및 백업 시스템은 안전 확보에 어떤 역할을 하나요?
• RQ5 의미론적 추상화와 기능 공간은 신경망 기반의 인식 및 제어 모듈의 검증 가능성을 어떻게 향상시킬 수 있나요?

주요 결과

• 논문은 검증된 AI에서 다섯 가지 핵심 과제를 규명합니다: 환경 모델링, 형식적 사양, 학습 시스템 모델링, 확장 가능한 검증, 정확성 보장 설계.
• 이에 대응하여 다섯 가지 원칙을 제안합니다: 주동적 데이터 기반 및 자기진단적 환경 모델링, 계층적 및 하이브리드 사양, 학습 시스템을 위한 의미론적 추상화, 조합적 및 랜덤화된 추론, 런타임 보장 통합.
• 저자들은 이러한 원칙을 구현한 오픈소스 도구인 VerifAI와 Scenic을 개발하였으며, 자율주행차 및 항공우주 분야의 산업 규모 시스템에 적용되었습니다.
• 프레임워크는 설계 시점 분석과 런타임 모니터링을 결합하여 AI 구성요소의 형식적 검증을 가능하게 하여, 안전이 핵심인 시스템에서 보장을 크게 향상시켰습니다.
• 이 방법은 심층 신경망이 포함된 복잡한 사이버-물리 시스템, 예를 들어 준자율 주행차의 긴급 브레이킹 시스템의 검증을 지원합니다.
• 연구는 전체 결정 가능성이 확보되지 않는 상황에서도 원칙적인 추상화와 하이브리드 검증 기법을 통해 형식적 방법을 현대 AI 시스템으로 확장할 수 있음을 입증합니다.