[논문 리뷰] Practical Solutions for Machine Learning Safety in Autonomous Vehicles

Sina Mohseni, Mandar Pitale외 2명|arXiv (Cornell University)|2019. 12. 20.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 51

한 줄 요약

본 논문은 자율주행 차량용 실용적 ML 안전 기술을 검토하고 이를 ISO 26262/SOTIF의 격차에 매핑하며, 의존성을 높이기 위한 오류 탐지기 및 로버스트니스 전략에 대해 논의한다.

ABSTRACT

Autonomous vehicles rely on machine learning to solve challenging tasks in perception and motion planning. However, automotive software safety standards have not fully evolved to address the challenges of machine learning safety such as interpretability, verification, and performance limitations. In this paper, we review and organize practical machine learning safety techniques that can complement engineering safety for machine learning based software in autonomous vehicles. Our organization maps safety strategies to state-of-the-art machine learning techniques in order to enhance dependability and safety of machine learning algorithms. We also discuss security limitations and user experience aspects of machine learning components in autonomous vehicles.

연구 동기 및 목표

• 자율주행 차량의 ML에 적용될 때 ISO 26262 및 ISO/PAS 21448 (SOTIF)의 격차를 식별한다.
• 전통적인 소프트웨어 안전을 보완하는 실용적 ML 안전 기술을 분류한다.
• ML 안전 기술을 공학적 안전 전략에 매핑하여 의존성을 향상시킨다.
• 구체적 구현을 제시하고 남은 문제점 및 향후 방향을 논의한다.

제안 방법

• 오류 탐지기와 모델 로버스트니스에 관한 ML 안전 연구를 조사한다.
• 안전 전략(Safe Fail, Safety Margins)에 맞추어 기술들을 정리한다.
• 안전이 중요한 자율주행 차량 어플리케이션에 대한 실용적 구현 세 가지를 설명한다.
• 런타임 모니터링, 불확실성 추정, 및 OOD/탐지 방법을 논의한다.
• 이 기술들이 설계 명세, 투명성, 테스트, 성능/로버스트니스 격차를 어떻게 해결하는지 분석한다.

실험 결과

연구 질문

• RQ1 자율주행 차량의 ML 구성요소에 대한 ISO 26262 및 SOTIF의 주요 안전 격차는 무엇인가?
• RQ2 어떤 실용적 ML 안전 기술이 기존의 공학적 안전 표준을 보완할 수 있는가?
• RQ3 ML 안전 기술을 확립된 안전 전략(예: Safe Fail, Safety Margins)에 어떻게 매핑할 수 있는가?
• RQ4 안전에 중요한 AV 어플리케이션에서 ML의 안전한 배치를 보여주는 구체적 구현은 무엇인가?
• RQ5 자율주행에서 ML 안전의 남은 문제점과 향후 방향은 무엇인가?

주요 결과

• Safety gaps exist between ML properties and traditional software safety standards, particularly in design specification, transparency, testing, and performance under open-world conditions.
• Uncertainty estimation and run-time error detectors can enable safe-fail behavior in autonomous systems.
• OOD/unknown sample detection and domain generalization techniques improve robustness to distribution shifts.
• Robustness to corruptions, perturbations, and adversarial inputs enhances safety margins of ML components.
• Practical implementations demonstrate how monitoring and rejection mechanisms can be integrated into AV pipelines.