[논문 리뷰] Demo Abstract: Real-Time Out-of-Distribution Detection on a Mobile Robot

Michael Yuhas, Arvind Easwaran|arXiv (Cornell University)|2022. 11. 15.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 YOLOv7 소형 객체 검출기와 변동형 오토인코더 기반 OOD 검출기로 구성된 실시간 이상 분포(OOD) 탐지 시스템을 제안하며, 이를 Jetson Nano가 탑재된 덕키봇에 구현한다. 시스템은 800ms 이내로 이상 분포 샘플(예: 시뮬레이션 눈발)을 성공적으로 탐지하고, 오류 경고 없이 비상 브레이킹을 유도하며, 공유된 계산 자원 하에 차선 유지 및 객체 검출 기능을 실시간으로 유지한다.

ABSTRACT

In a cyber-physical system such as an autonomous vehicle (AV), machine learning (ML) models can be used to navigate and identify objects that may interfere with the vehicle's operation. However, ML models are unlikely to make accurate decisions when presented with data outside their training distribution. Out-of-distribution (OOD) detection can act as a safety monitor for ML models by identifying such samples at run time. However, in safety critical systems like AVs, OOD detection needs to satisfy real-time constraints in addition to functional requirements. In this demonstration, we use a mobile robot as a surrogate for an AV and use an OOD detector to identify potentially hazardous samples. The robot navigates a miniature town using image data and a YOLO object detection network. We show that our OOD detector is capable of identifying OOD images in real-time on an embedded platform concurrently performing object detection and lane following. We also show that it can be used to successfully stop the vehicle in the presence of unknown, novel samples.

연구 동기 및 목표

• 자율 시스템인 모바일 로봇과 같은 환경에서 기계 학습 모델이 이상 분포(OOD) 데이터에서 실패할 경우 발생하는 안전 위험을 해결하기 위해.
• 기본 제어 작업에 영향을 주지 않으면서 임베디드 하드웨어에서 실시간으로 작동하는 OOD 탐지 시스템을 개발하기 위해.
• 시뮬레이션 눈발과 같은 새로운 OOD 조건에 대해 OOD 탐지가 충돌 이전에 비상 브레이킹을 유도할 수 있음을 검증하기 위해.
• OOD 탐지, 객체 검출, 차선 유지 작업의 동시 실행이 응답 시간에 미치는 영향을 평가하기 위해.
• 경량이며 독립적으로 배포된 OOD 탐지기로 실시간 안전 모니터링을 물리적 로봇 플랫폼에서 구현 가능함을 보여주기 위해.

제안 방법

• 자율 차량의 대체로 사용된 2GB 메모리의 Jetson Nano와 PREEMPT_RT 커널을 탑재한 덕키봇을 사용하였다.
• 시스템은 세 가지 동시 작업을 수행한다: 전통적인 컴퓨터 비전을 통한 차선 유지, 양자화된 YOLOv7 소형 모델을 이용한 객체 검출, 그리고 광학 흐름 특징을 기반으로 한 변동형 오토인코더를 이용한 OOD 탐지.
• 광학 흐름 매트릭스는 연속적인 이미지에서 Farnebäck 알고리즘을 사용하여 생성되었으며, OOD 탐지기의 입력으로 사용되었다.
• 유전 알고리즘이 F1 스코어를 최대화하고 추론 시간을 최소화하기 위해 전처리 파라미터(입력 크기, 흐름 수, 보간 방법)를 최적화하였다.
• 최종 OOD 탐지기는 60x80 입력 크기, 10개의 광학 흐름 프레임, 이차 보간 방법을 사용하여 평균 추론 시간 53.3ms를 달성하였다.
• 모든 모델은 동적 양자화를 통해 8비트로 변환되었으며, AArch64에서 QNNPACK 백엔드를 통해 실행되었다.

실험 결과

연구 질문

• RQ1 임베디드 플랫폼에 OOD 탐지기를 구현할 수 있으며, 다른 안전 핵심 작업과 자원을 공유하면서도 실시간 마감 시간을 충족할 수 있는가?
• RQ2 시뮬레이션 눈발과 같은 새로운 OOD 조건에 대해 OOD 탐지기가 비상 브레이킹을 성공적으로 유도하는가?
• RQ3 OOD 탐지, 객체 검출, 차선 유지 작업의 동시 실행이 응답 시간에 미치는 영향은 얼마나 심각한가, 특히 객체 검출기의 경우?
• RQ4 이전에 본 적 없는 환경적 요란함을 탐지하는 동안 OOD 탐지기가 낮은 거짓 경고율을 유지할 수 있는가?
• RQ5 입력 표현 방식(예: 광학 흐름)과 모델 구성이 탐지 정확도와 추론 속도 사이의 상충 관계에 어떤 영향을 미치는가?

주요 결과

• OOD 탐지기는 평균 추론 시간 53.3ms를 기록했으며, 최대 응답 시간이 800ms 미만이어서 실시간 제약 조건을 충족하였다.
• confetti를 사용하여 눈발을 시뮬레이션했을 때 OOD 탐지기가 비상 브레이킹을 성공적으로 유도하여 이상 분포 샘플 탐지의 효과성을 입증하였다.
• OOD 조건이 없는 상황에서는 오류 경고 없이 안전한 주행을 유지하였다.
• 모든 세 가지 작업이 동시에 실행되는 동안에도 차선 유지 작업은 실시간 마감 시간을 준수하였다.
• 고도의 시스템 활용도와 메모리 스왑으로 인해 객체 검출 작업의 성능이 심각하게 저하되었으며, 응답 시간이 증가하였다.
• 유전 알고리즘이 높은 F1 스코어 0.97를 달성하면서도 낮은 추론 시간을 유지하는 구성(60x80 입력 크기, 10개의 흐름, 이차 보간)을 도출하였다.