[논문 리뷰] Estimating and Evaluating Regression Predictive Uncertainty in Deep Object Detectors

Ali Harakeh, Steven L. Waslander|arXiv (Cornell University)|2021. 01. 13.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 8

한 줄 요약

이 논문은 깊이 있는 객체 검출기의 분산 네트워크를 훈련시키기 위해 에너지 스코어를 적절한 스코링 규칙으로 사용함으로써 예측 분포의 校정성(calibration)을 향상시키고 엔트로피를 감소시키는 것을 제안한다. 이는 음의 로그우도(NLL)에 비해 성능이 향상된다. 연구에서는 NLL 훈련이 과신하는 불확실성 추정을 유도하는 반면, 에너지 스코어 훈련은 보다 잘 校정된, 엔트로피가 낮은 예측을 제공함을 보여주며, 객체 검출에서 불확실성 품질을 평가하기 위한 적절한 평가 프레임워크를 도입한다.

ABSTRACT

Predictive uncertainty estimation is an essential next step for the reliable deployment of deep object detectors in safety-critical tasks. In this work, we focus on estimating predictive distributions for bounding box regression output with variance networks. We show that in the context of object detection, training variance networks with negative log likelihood (NLL) can lead to high entropy predictive distributions regardless of the correctness of the output mean. We propose to use the energy score as a non-local proper scoring rule and find that when used for training, the energy score leads to better calibrated and lower entropy predictive distributions than NLL. We also address the widespread use of non-proper scoring metrics for evaluating predictive distributions from deep object detectors by proposing an alternate evaluation approach founded on proper scoring rules. Using the proposed evaluation tools, we show that although variance networks can be used to produce high quality predictive distributions, ad-hoc approaches used by seminal object detectors for choosing regression targets during training do not provide wide enough data support for reliable variance learning. We hope that our work helps shift evaluation in probabilistic object detection to better align with predictive uncertainty evaluation in other machine learning domains. Code for all models, evaluation, and datasets is available at: https://github.com/asharakeh/probdet.git.

연구 동기 및 목표

• 안전 중심 응용 분야에서 깊이 있는 객체 검출기의 신뢰할 수 있는 예측 불확실성 추정 부족 문제를 해결하기 위해.
• 분산 네트워크 훈련에 음의 로그우도(NLL)를 사용할 경우, 예측 정확성과 관계없이 높은 엔트로피 예측을 초래하는 단점을 규명하기 위해.
• 예측 분포의 校정성과 엔트로피를 향상시키는 비국소적 적절한 스코링 규칙으로 에너지 스코어를 제안하기 위해.
• 기존의 적절한 스코링 규칙에 기반한 평가 프레임워크를 개발하여 객체 검출에서 흔히 사용되는 부적절한 메트릭을 넘어서기 위해.
• 기존의 회귀 타겟 훈련 전략이 신뢰할 수 있는 분산 학습을 위한 충분한 데이터 지원을 제공하지 못한다는 것을 입증하기 위해.

제안 방법

• 음의 로그우도(NLL) 대신 에너지 스코어를 손실 함수로 사용하여 분산 네트워크를 훈련시키는 방식.
• 에너지 스코어를 적절한 스코링 규칙으로 사용하여 예측 분포를 평가함으로써 불확실성 추정의 통계적 일관성을 확보하는 방식.
• 적절한 스코링 규칙에 기반한 새로운 평가 프로토콜을 설계하여 객체 검출에서 예측 불확실성의 품질을 평가하는 방식.
• 분산 네트워크를 활용하여 바운딩 박스 회귀 출력의 전체 예측 분포(평균 및 분산)를 예측하는 방식.
• 표준 객체 검출 벤치마크를 사용하여 표준 메트릭과 제안된 평가 프레임워크를 활용해 NLL 및 에너지 스코어 훈련을 비교하는 방식.
• 회귀 타겟에 대한 데이터 지원이 분산 학습에 미치는 영향을 분석하여, 부족한 지원이 불확실성의 보정을 악화시킨다는 것을 입증하는 방식.

실험 결과

연구 질문

• RQ1 음의 로그우도(NLL)로 분산 네트워크를 훈련시키면, 예측된 바운딩 박스 평균의 정확성과 관계없이 잘 校정되고 엔트로피가 낮은 예측 분포가 생성되는가?
• RQ2 에너지 스코어는 객체 검출기에서 신뢰할 수 있는 회귀 예측 불확실성을 학습하기 위해 NLL보다 더 나은 훈련 목표가 될 수 있는가?
• RQ3 기존의 부호화된 회귀 타겟 선택 전략은 분산 네트워크를 통한 의미 있는 불확실성 학습 능력에 어떤 영향을 미치는가?
• RQ4 현재 객체 검출 분야에서의 평가 관행은 얼마나 불확실성 예측을 적절히 평가하지 못하는가?
• RQ5 적절한 스코링 규칙 기반 평가 프레임워크는 객체 검출에서 불확실성 추정의 신뢰성과 비교 가능성 향상에 기여하는가?

주요 결과

• NLL로 훈련할 경우, 예측된 바운딩 박스 평균의 정확성과 관계없이 높은 엔트로피 예측 분포가 발생함을 확인하여 불확실성 보정이 열악함을 시사한다.
• 에너지 스코어를 훈련 목표로 사용할 경우, NLL에 비해 유의미하게 낮은 엔트로피와 더 잘 校정된 예측 분포를 확보함을 입증하였다.
• 적절한 스코링 규칙에 기반한 제안된 평가 프레임워크는 많은 최첨단 객체 검출기들이 표준 훈련 프로토콜 하에서 신뢰할 수 있는 불확실성 추정을 제공하지 못한다는 것을 드러냈다.
• 초기 저명한 검출기에서 사용된 부호화된 회귀 타겟 선택 전략은 효과적인 분산 학습을 위한 충분한 데이터 지원을 제공하지 못하여 불확실성 품질을 제한한다.
• 에너지 스코어 기반 훈련 방식은 보정성과 불확실성의 날카움(uncertainty sharpness)을 모두 향상시켜, 불확실성 인식 객체 검출에 더 적합한 목표로 간주된다.
• 본 연구는 현재 객체 검출 분야의 평가 관행이 다른 머신러닝 분야의 최선의 관행, 특히 불확실성 추정 분야와 일치하지 않음을 입증하였다.