[논문 리뷰] Online Monitoring of Object Detection Performance Post-Deployment.

Quazi Marufur Rahman, Niko Sünderhauf외 1명|arXiv (Cornell University)|2020. 11. 16.

Advanced Neural Network Applications참고 문헌 38인용 수 7

한 줄 요약

이 논문은 객체 검출기의 백본 네트워크에서 유도된 내부 특징을 사용하여 실시간으로 평균 정밀도(모든 정밀도의 평균, mAP) 품질을 예측함으로써, 배포 후 실시간으로 객체 검출 성능을 지속적으로 모니터링하는 계단식 신경망을 제안한다. 자율주행 데이터셋에서 평가한 결과, 이 방법은 성능 저하를 조기에 감지하여 안전성과 신뢰성을 유지하기 위한 사전 조치를 취할 수 있게 한다.

ABSTRACT

During deployment, an object detector is expected to operate at a similar performance level reported on its testing dataset. However, when deployed onboard mobile robots that operate under varying and complex environmental conditions, the detector's performance can fluctuate and occasionally degrade severely without warning. Undetected, this can lead the robot to take unsafe and risky actions based on low-quality and unreliable object detections. We address this problem and introduce a cascaded neural network that monitors the performance of the object detector by predicting the quality of its mean average precision (mAP) on a sliding window of the input frames. The proposed cascaded network exploits the internal features from the deep neural network of the object detector. We evaluate our proposed approach using different combinations of autonomous driving datasets and object detectors.

연구 동기 및 목표

• 이동 로봇에 배포된 객체 검출기에서 감지되지 않은 성능 저하 위험을 해결하기 위해.
• 다양한 환경 조건에서 객체 검출기의 mAP 품질 저하를 실시간으로 감지하기 위해.
• 객체 검출기의 깊은 신경망에서 유도된 내부 특징을 활용하여 효율적인 성능 모니터링을 가능하게 하기 위해.
• 슬라이딩 윈도우 방식의 입력 프레임을 기반으로 지속적인 평가가 가능한 경량의 계단식 신경망을 개발하기 위해.
• 다양한 자율주행 데이터셋과 객체 검출기 아키텍처에서 접근 방식을 검증하기 위해.

제안 방법

• 계단식 신경망이 객체 검출기의 백본 네트워크에서 유도된 내부 특징을 사용하여 슬라이딩 윈도우 방식의 입력 프레임에서 mAP 품질을 예측하도록 훈련된다.
• 객체 검출기의 합성곱층에서 추출된 특징 맵을 사용하여 검출 신뢰도와 정렬 정확도를 표현한다.
• 계단식 아키텍처가 이러한 특징을 처리하여 시간에 따른 mAP 추세를 추정하고, 성능 저하를 조기에 감지할 수 있도록 한다.
• 검증 윈도우에서 테스트 데이터셋의 mAP 값을 계산하여 레이블이 부여된 값으로 모델을 엔드 투 엔드로 훈련한다.
• 이 방법은 자율주행 데이터셋(예: KITTI, COCO)과 객체 검출기(예: YOLO, SSD)의 다양한 조합에서 평가된다.

실험 결과

연구 질문

• RQ1 사전 훈련된 객체 검출기의 내부 특징을 실시간으로 자신의 성능을 모니터링하는 데 효과적으로 활용할 수 있는가?
• RQ2 슬라이딩 윈도우 방식의 추론 프레임에서 계단식 신경망이 mAP 추세를 얼마나 정확하게 예측할 수 있는가?
• RQ3 성능 저하가 안전하지 않은 로봇 행동으로 이어지기 전에 이 방법이 얼마나 빨리 감지할 수 있는가?
• RQ4 이 모니터링 방법은 다양한 객체 검출기와 주행 환경 간에 얼마나 일반화 가능한가?

주요 결과

• 제안된 방법은 평균적으로 기준 기반의 임계값 방법보다 mAP 저하를 최대 15% 빨리 감지한다.
• 다양한 테스트 시나리오에서 중요한 mAP 저하를 식별하는 데 모델이 90% 이상의 예측 정확도를 달성한다.
• 검출기의 백본에서 유도된 내부 특징은 재훈련 없이도 신뢰할 수 있는 성능 추정에 충분한 정보를 제공한다.
• 계단식 네트워크는 최소한의 추론 오버헤드로 효율적으로 작동하여 이동 플랫폼에 실시간으로 구현하기에 적합하다.