[논문 리뷰] Monte Carlo DropBlock for Modelling Uncertainty in Object Detection

Deepshikha Kumari, Sai Harsha Yelleni외 2명|arXiv (Cornell University)|2021. 08. 08.

Adversarial Robustness in Machine Learning인용 수 49

한 줄 요약

MC-DropBlock은 학습 및 테스트 동안 DropBlock을 적용하여 Bayesian-convolutional ensemble을 생성하고, 객체 탐지 및 분할에서 인식적 불확실성을 포착하는 한편 Gaussian likelihood로 인해 알레이터릭 불확실성을 모델링한다. 이는 YOLO 기반 모델 및 기타 비전 작업에서 일반화, 보정 및 불확실성 추정성을 향상시킨다.

ABSTRACT

With the advancements made in deep learning, computer vision problems like object detection and segmentation have seen a great improvement in performance. However, in many real-world applications such as autonomous driving vehicles, the risk associated with incorrect predictions of objects is very high. Standard deep learning models for object detection such as YOLO models are often overconfident in their predictions and do not take into account the uncertainty in predictions on out-of-distribution data. In this work, we propose an efficient and effective approach to model uncertainty in object detection and segmentation tasks using Monte-Carlo DropBlock (MC-DropBlock) based inference. The proposed approach applies drop-block during training time and test time on the convolutional layer of the deep learning models such as YOLO. We show that this leads to a Bayesian convolutional neural network capable of capturing the epistemic uncertainty in the model. Additionally, we capture the aleatoric uncertainty using a Gaussian likelihood. We demonstrate the effectiveness of the proposed approach on modeling uncertainty in object detection and segmentation tasks using out-of-distribution experiments. Experimental results show that MC-DropBlock improves the generalization, calibration, and uncertainty modeling capabilities of YOLO models in object detection and segmentation.

연구 동기 및 목표

• 객체 탐지 및 분할에서 특히 데이터 외(out-of-distribution) 조건에서 불확실성 모델링의 필요성을 제시한다.
• 합성곱 신경망에 대한 효율적인 베이지안 유사 규제として Monte-Carlo DropBlock을 제안한다.
• MC-DropBlock이 베이지안 CNN에서 변분 추론에 대응한다는 이론적 정당성을 제시한다.
• YOLO 기반 탐지기 및 분할 모델에서 불확실성 모델링, 일반화 및 보정의 향상을 입증한다.
• 이미지 분류(ResNets)에도 적용 가능성을 보이고 MC-Dropout 및 다른 기준선과의 비교를 제시한다.

제안 방법

• DropBlock을 컨벌루션 피처 맵에서 연속 영역을 드롭하여 ConvNets를 정규화하는 방법을 도입한다.
• 학습 시점과 추론 시점 모두 DropBlock을 적용하여 여러 서브 네트워크 예측을 생성한다(Monte Carlo 샘플링).
• 가변 분포를 형성하여 블록 단위 가중치를 γ의 확률로 0으로 만들어 컨볼루션 가중치에 대한 Bayesian-like 포스터리를 얻는다.
• 알레이터릭 불확실성은 Gaussian likelihood(예: Gaussian-YOLO)로 모델링하고 이를 MC-DropBlock과 결합하여 공동 인식적+알레이터릭 불확실성을 얻는다.
• 베이지안 CNN에서의 변분 추론과의 등가성을 보이고 이론적 프레이밍과 실험(YOLOv4/YOLOv5, YOLACT, CIFAR-10/ImageNet의 ResNet)을 통해 분석한다.
• 객체 탐지, 분할 및 분류에서 OOD 및 분포 내 설정으로 평가하고 MC-DropBlock을 학습 시 DropBlock, 추론 시 DropBlock, MC-Dropout, Gaussian-YOLO와 비교한다.

실험 결과

연구 질문

• RQ1 MC-DropBlock이 객체 탐지 및 분할에서 데이터 외(out-of-distribution) 데이터에 대해 신뢰할 수한 인식적 불확실성 추정치를 제공하는가?
• RQ2 추론 시점에서 DropBlock을 적용하는 것이 합성곱 신경망에서 일반적인 MC-Dropout보다 보정 및 불확실성 추정을 개선하는가?
• RQ3 YOLO 변형 및 분할 모델 전반에서 GMAP(일반화 지표) 및 보정(Brier 점수)을 기준선 대비 어떻게 영향받는가?
• RQ4 Gaussian likelihoods(Gaussian-YOLO)와 결합할 때 접근법이 로컬라이제이션 성능을 희생하지 않으면서 알레이터릭 불확실성을 모델링할 수 있는가?

주요 결과

• MC-DropBlock은 MC-Dropout 및 다른 기준선에 비해 YOLO 변형 및 ResNet에서 OOD 데이터에 대해 더 높은 예측 불확실성(엔트로피)을 제공한다.
• 학습 시점 DropBlock과 비교해 물체 탐지 및 분할에서 경쟁력 있거나 향상된 mAP를 제공하며, Gaussian 손실은 결과를 더 향상시킨다.
• MC-DropBlock은 보정성을 개선하여 여러 기준선보다 낮은 Brier 점수를 달성하고, DropBlock 없이 또는 학습 시점 DropBlock만 사용한 경우에도 종종 우수한 성능을 보인다.
• 개방형 셋(Open Images 등)에서 바이어스 및 MC-Dropout 대비 오판류를 감소시키는 질적 결과를 나타낸다.
• 분류에서 MC-DropBlock은 CIFAR-10(ResNet-110)에서 MC-Dropout보다 상위-1 정확도를 달성하고 OOD 테스트(Imagenet)에서 불확실성 처리도 향상된다.