[논문 리뷰] Can We Trust You? On Calibration of a Probabilistic Object Detector for Autonomous Driving

Di Feng, Lars Rosenbaum외 3명|arXiv (Cornell University)|2019. 09. 26.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 30

한 줄 요약

이 논문은 자율주행 시스템에서 사용되는 확률적 LiDAR 3D 객체 검출기의 불확실성 캘리브레이션 문제를 진단하고 해결하며, 온도 스케일링, 이소톤 회귀, 그리고 새로운 손실 함수를 포함한 세 가지 캘리브레이션 방법을 제안한다. 이는 다양한 데이터셋에서 성능을 크게 향상시키며, 기대 캘리브레이션 오차(Expected Calibration Error, ECE)를 최대 85%까지 감소시키고, 새로운 데이터로의 일반화 능력도 우수하여 자율주행 시스템의 신뢰도를 향상시킨다.

ABSTRACT

Reliable uncertainty estimation is crucial for perception systems in safe autonomous driving. Recently, many methods have been proposed to model uncertainties in deep learning based object detectors. However, the estimated probabilities are often uncalibrated, which may lead to severe problems in safety critical scenarios. In this work, we identify such uncertainty miscalibration problems in a probabilistic LiDAR 3D object detection network, and propose three practical methods to significantly reduce errors in uncertainty calibration. Extensive experiments on several datasets show that our methods produce well-calibrated uncertainties, and generalize well between different datasets.

연구 동기 및 목표

• 자율주행에서 사용되는 딥러닝 기반의 확률적 LiDAR 3D 객체 검출기에서의 불확실성 캘리브레이션 문제를 진단하고 규명하는 것.
• 분류 및 경계상자 회귀 작업에서 과도하게 자신감 있는 예측과 부족한 자신감의 예측 문제를 해결하는 것.
• 추론 속도에 영향을 주지 않으면서도 불확실성 캘리브레이션을 향상시키는 실용적인 캘리브레이션 기법을 개발하는 것.
• 다양한 데이터셋과 데이터 희소성 수준에서 캘리브레이션 기법의 강인성과 일반화 능력을 평가하는 것.
• 회귀 변수 간 상관관계가 존재할 경우 근사 확률 캘리브레이션의 한계를 탐색하고, 향후 공동 불확실성 모델링에 대한 연구 방향을 제안하는 것.

제안 방법

• 저자는 자율주행 시스템에서 사용되는 확률적 LiDAR 3D 객체 검출기의 예측 정확도를 향상시키기 위해, 직접 모델링 접근 방식을 사용하여 수정된 PIXOR 네트워크를 사용하여 분류 점수와 경계상자 파라미터의 불확실성까지 함께 예측한다.
• 분류 점수의 캘리브레이션을 향상시키기 위해 이소톤 회귀와 온도 스케일링을 적용하여 예측 정확도와의 일치도를 높인다.
• 경계상자 회귀 작업에서는 여섯 차원의 출력 공간(dx, dy, l, w, θ, log-l, log-w)에 대해 캘리브레이션 기법을 확장하고, 신뢰구간을 활용하여 커버리지 수준을 평가한다.
• 네트워크 학습 중에 캘리브레이션 오차를 줄이기 위해 불확실성 추정치가 잘 캘리브레이션되도록 유도하는 새로운 학습 손실 함수를 제안한다.
• 캘리브레이션 모델은 KITTI 데이터셋의 일부를 대상으로 학습하고, KITTI와 더 다양한 특성을 지닌 nuScenes 데이터셋에서 평가하여 일반화 능력을 테스트한다.
• 성능 평가에는 기대 캘리브레이션 오차(Expected Calibration Error, ECE)를 사용하며, 낮을수록 더 우수한 캘리브레이션을 의미한다.

실험 결과

연구 질문

• RQ1 확률적 LiDAR 3D 객체 검출기에서 불확실성 캘리브레이션 오류는 분류 및 경계상자 회귀 작업에서 어떻게 나타나는가?
• RQ2 온도 스케일링과 이소톤 회귀와 같은 사후 캘리브레이션 기법이 객체 검출에서 불확실성 캘리브레이션 오류를 효과적으로 줄일 수 있는가?
• RQ3 1%의 캘리브레이션 데이터셋만으로 학습된 캘리브레이션 기법의 강인성은 어떠한가?
• RQ4 KITTI 데이터셋에서 학습된 캘리브레이션 모델이 센서 설정과 환경 조건이 다른 다른 데이터셋(nuScenes)으로 일반화되는 정도는 어느 정도인가?
• RQ5 dy(종방향 위치)와 l(길이)와 같은 회귀 변수 간 상관관계가 존재할 경우, 근사 확률 캘리브레이션의 한계는 무엇이며, 이를 어떻게 해결할 수 있는가?

주요 결과

• 캘리브레이션되지 않은 기준 모델은 nuScenes 데이터셋에서 심각한 캘리브레이션 오류를 보이며, 기대 캘리브레이션 오차(Expected Calibration Error, ECE)가 0.218에 이른다.
• 1%의 nuScenes 데이터로 학습한 온도 스케일링은 ECE를 0.078로 감소시켜, 소규모 캘리브레이션 데이터셋에서도 매우 강인한 성능을 보인다.
• 1%의 nuScenes 데이터로 학습한 이소톤 회귀는 ECE 0.030을 기록하며 다른 방법들보다 낮은 오차를 기록하고, 뛰어난 일반화 능력을 보였다.
• 캘리브레이션 기법은 신뢰구간 커버리지 수준을 크게 향상시켰으며, 캘리브레이션 후에는 100%의 진짜 위치가 예측된 구간에 포함되는 반면, 캘리브레이션되지 않은 모델은 진짜 위치의 30%를 커버하지 못했다.
• 캘리브레이션 기법은 분류 및 회귀 작업 양쪽에서 캘리브레이션 오류를 줄이며, 캘리브레이션된 예측 결과는 예측된 자신감과 실제 정확도 사이의 일치도가 향상됨을 보였다.
• 연구 결과, dy(종방향 위치) 예측 오차와 l(길이) 예측 오차 사이에 강한 상관관계(PCC = 0.62)가 존재함을 확인하여, 변수 간 상관관계가 존재할 경우 근사 캘리브레이션 방식이 부적절할 수 있음을 시사한다.