[논문 리뷰] The Probabilistic Object Detection Challenge

John Skinner, David Hall외 3명|arXiv (Cornell University)|2019. 03. 19.

Adversarial Robustness in Machine Learning참고 문헌 7인용 수 4

한 줄 요약

이 논문은 로봇 시각 응용 분야에서의 불확실성 평가를 위한 새로운 벤치마크인 ACRV 로봇 시각 챌린지 1: 확률적 객체 검출을 소개한다. 이 벤치마크는 객체 검출기가 경계 상자 주변의 공간 불확실성을 가우시안 분포로 출력하도록 요구하며, 확률 기반 검출 품질(PDQ) 지표를 통해 평가한다. 챌린지는 다양한 조명, 시점, 카메라 높이를 가진 시뮬레이션된 영상 시퀀스를 사용하여 실세계 로봇 구현에 적합한 불확실성 校정을 강조한다.

ABSTRACT

We introduce a new challenge for computer and robotic vision, the first ACRV Robotic Vision Challenge, Probabilistic Object Detection. Probabilistic object detection is a new variation on traditional object detection tasks, requiring estimates of spatial and semantic uncertainty. We extend the traditional bounding box format of object detection to express spatial uncertainty using gaussian distributions for the box corners. The challenge introduces a new test dataset of video sequences, which are designed to more closely resemble the kind of data available to a robotic system. We evaluate probabilistic detections using a new probability-based detection quality (PDQ) measure. The goal in creating this challenge is to draw the computer and robotic vision communities together, toward applying object detection solutions for practical robotics applications.

연구 동기 및 목표

• 로봇 응용 분야에서 객체 검출의 불확실성을 평가하는 벤치마크 부족 문제를 해결한다.
• 시간적 상관관계, 다양한 조명, 카메라 높이를 갖춘 실제 로봇이 감지하는 영상과 유사한 현실적인 테스트 데이터셋을 구축한다.
• 공간적 및 의미적 불확실성을 잘 校정하는 객체 검출기의 개발을 촉진한다.
• 학습 데이터를 공개하지 않고 COCO 유사 클래스를 사용함으로써 데이터셋 특화 피팅을 방지함으로써 일반화 능력을 장려한다.
• 정확한 불확실성 추정을 보상하는 PDQ 지표를 사용한 표준화된 평가 프레임워크를 제공한다.

제안 방법

• 낮/밤 조명과 세 가지 카메라 높이를 갖춘 3D 시뮬레이션 환경을 사용해 합성 영상 시퀀스를 생성한다.
• 공간 불확실성을 경계 상자 주변의 가우시안 분포로 표현하도록 확률적 객체 검출을 정의한다.
• 공간 품질(전경 및 배경 손실을 통해)과 레이블 품질(진짜 클래스의 예측 확률)을 통합한 확률 기반 검출 품질(PDQ) 지표를 사용한다.
• 공간 품질을 로그-확률 손실을 사용해 계산한다: $ L_{FG} $는 진짜 경계 상자 내부의 픽셀에 대해, $ L_{BG} $는 검출 범위 내이지만 진짜 경계 상자 외부의 픽셀에 대해 계산한다.
• 쌍별 PDQ는 기하 평균을 사용해 계산한다: $ \operatorname{pPDQ}(\mathcal{G},\mathcal{D}) = \sqrt{Q_S(\mathcal{G},\mathcal{D}) \cdot Q_L(\mathcal{G},\mathcal{D})} $.
• 진짜 객체와 검출 결과 간의 최적 할당을 수행하여 최종 평균 PDQ를 계산하고, 잘못된 양성, 잘못된 음성, 검출 품질에 대한 세부 피드백을 가능하게 한다.

실험 결과

연구 질문

• RQ1 로봇 의사결정 지원을 위해 객체 검출을 공간적 및 의미적 불확실성 추정 방식으로 어떻게 확장할 수 있는가?
• RQ2 기존 검출기들이 가우시안 분포를 사용해 공간 불확실성을 확률적으로 출력하도록 얼마나 잘 적응할 수 있는가?
• RQ3 PDQ 지표는 불확실성 校정 수준에 따라 검출기를 효과적으로 평가하고 순위를 매기는 데 얼마나 유용한가?
• RQ4 실세계 로봇 인식에서 검출 재현율, 정밀도, 불확실성 校정 간의 상호 상충 관계는 어떠한가?
• RQ5 시간적 상관관계와 다양한 시점이 포함된 시뮬레이션된 영상 데이터셋은 정적 이미지 기반 벤치마크보다 로봇이 감지하는 데이터를 더 잘 반영하는가?

주요 결과

• 참가자 1이 가장 높은 전체 PDQ 점수를 기록하여 공간적 및 의미적 불확실성 校정의 최적 균형을 보였다.
• 참가자 4는 검출된 객체들 중 평균 pPDQ가 가장 높았지만, 높은 거짓 음성 비율로 많은 진짜 객체를 놓쳤다.
• 참가자 2는 높은 정밀도로 가장 많은 객체를 검출했지만, 평균 품질이 낮아 전체 PDQ 점수는 참가자 1보다 낮았다.
• PDQ 지표는 불확실성 校정 수준에 따라 시스템을 효과적으로 구분하여 정확한 신뢰도 수준을 표현한 팀을 보상했다.
• 18개의 테스트 시퀀스(3개 환경 × 2가지 조명 × 3개 카메라 높이)와 테스트_디브 세트의 123,704장의 이미지를 포함한 시뮬레이션된 데이터셋은 시간적 및 공간적 불확실성 평가에 적합한 풍부하고 다양한 벤치마크를 제공한다.
• 테스트 세트와 다른 환경에서 구성된 검증 세트는 환경 간 일반화 능력이 뛰어난 모델이 더 높은 점수를 받는다는 점을 확인했다.