[논문 리뷰] Modeling Sensing and Perception Errors towards Robust Decision Making in Autonomous Vehicles

Andrea Piazzoni, Jim Cherian외 2명|arXiv (Cornell University)|2020. 01. 31.

Autonomous Vehicle Technology and Safety참고 문헌 7인용 수 6

한 줄 요약

이 논문은 자율주행차의 의사결정에 영향을 미치는 감지 및 인지(S&P) 오류의 영향을 평가하기 위해 시뮬레이션 기반 접근법을 제안한다. 이는 인지 정확도와 시스템 수준의 견고성 사이의 격차를 메운다. 다양한 오류 유형을 모델링하고 그 영향을 시뮬레이션함으로써 개발자들이 실제 환경의 불확실성 하에서 S&P 성능이 안전하고 신뢰할 만한 의사결정을 위해 충분한지 평가할 수 있도록 한다.

ABSTRACT

Sensing and Perception (S&P) is a crucial component of an autonomous system (such as a robot), especially when deployed in highly dynamic environments where it is required to react to unexpected situations. This is particularly true in case of Autonomous Vehicles (AVs) driving on public roads. However, the current evaluation metrics for perception algorithms are typically designed to measure their accuracy per se and do not account for their impact on the decision making subsystem(s). This limitation does not help developers and third party evaluators to answer a critical question: is the performance of a perception subsystem sufficient for the decision making subsystem to make robust, safe decisions? In this paper, we propose a simulation-based methodology towards answering this question. At the same time, we show how to analyze the impact of different kinds of sensing and perception errors on the behavior of the autonomous system.

연구 동기 및 목표

• 자율주행차에서 인지 정확도와 의사결정의 견고성 간의 연계를 실패하는 현재 평가 지표의 핵심 격차를 해소하기 위해.
• 다양한 감지 및 인지 오류가 자율 시스템 행동에 미치는 영향을 정량화하는 방법론을 개발하기 위해.
• 개발자와 평가자가 인지 서브시스템의 성능이 안전하고 신뢰할 만한 의사결정을 위해 충분한지 판단할 수 있도록 하기 위해.
• 다이나믹한 주행 환경에서 의사결정 파이프라인을 통해 S&P 오류가 어떻게 확산되는지 시뮬레이션하고 분석하기 위해.
• 오류 유형이 의사결정의 견고성에 가장 치명적인 영향을 미치는 것을 식별함으로써 더 견고한 자율주행 시스템 설계를 지원하기 위해.

제안 방법

• 저자는 자율주행차 시스템에 제어 가능한 감지 및 인지 오류를 주입하여 후속 의사결정에 미치는 영향을 관찰하기 위한 시뮬레이션 프레임워크를 설계한다.
• 이 방법론은 다양한 교통 상황에서 감지 실패, 가짜 양성 결과, 정위치 오류 등 여러 유형의 S&P 오류를 모델링한다.
• 인지 출력을 의사결정 모듈과 통합하여 오류 조건 하에서 실시간 반응을 시뮬레이션하고 행동 분석을 가능하게 한다.
• 오류 크기와 빈도를 다양하게 설정한 시나리오 기반 테스트를 통해 시스템의 내성 능력을 평가한다.
• 충돌률, 경로 이탈, 반응 시간과 같은 지표를 사용하여 오류 조건 하에서의 시스템 성능을 평가한다.
• 다양한 인지 알고리즘 간 비교 분 析를 지원하여 견고성의 트레이드오프를 식별한다.

실험 결과

연구 질문

• RQ1 특정 유형의 감지 및 인지 오류가 자율주행차의 의사결정 견고성에 얼마나 심각하게 악영향을 미치는가?
• RQ2 충돌 회피나 차선 유지와 같은 안전 중심 행동에 가장 큰 영향을 미치는 오류 유형은 무엇인가?
• RQ3 인지 시스템의 정확도만으로 안전한 의사결정을 보장할 수 있는가, 아니면 오류 전파 효과를 평가하는 것이 필수적인가?
• RQ4 다양한 S&P 오류 조합이 자율주행차 행동의 신뢰성과 예측 가능성에 어떤 영향을 미치는가?
• RQ5 어떤 시뮬레이션 기반 지표가 인지 불확실성 하에서 실제 세계의 의사결정 견고성을 효과적으로 예측할 수 있는가?

주요 결과

• 연구는 인지 정확도만으로는 견고한 의사결정을 보장할 수 없으며, 오류 전파가 시스템 성능을 심각하게 악화시킨다는 것을 입증한다.
• 객체 탐지에서의 가짜 양성 결과는 고밀도 교통 상황에서 과도한 브레이킹과 차선 변경을 유도하여 충돌 위험을 증가시켰다.
• 정위치 오류는 경로 계획에 비례하여 큰 영향을 미쳐 의도한 경로에서 빈번하고 안전하지 않은 이탈을 유발했다.
• 시뮬레이션 프레임워크는 인지 모듈과 의사결정 모듈 간의 오류 상호작용으로 인해 이전에 발견되지 않은 고장 모드를 성공적으로 식별했다.
• 높은 인지 정확도를 가진 시스템도 특정 오류 패tern에 노출되었을 때는 여전히 안전하지 않은 행동을 보였으며, 이는 오류 인식 평가의 필요성을 강조한다.
• 이 방법론은 실제 배포 이전에 인지 관련 취약점을 조기에 탐지할 수 있게 하여 시스템 안전성 검증을 향상시킨다.