[論文レビュー] Monte Carlo DropBlock for Modelling Uncertainty in Object Detection

Deepshikha Kumari, Sai Harsha Yelleni+2 more|arXiv (Cornell University)|Aug 8, 2021

Adversarial Robustness in Machine Learning被引用数 49

ひとこと要約

MC-DropBlockは訓練時および testing 時にDropBlockを適用してベイジアン畳み込みアンサンブルを作成し、物体検出とセマンティックセグメンテーションにおける epistemic 不確実性を捉えつつ、Gaussian likelihood による aleatoric 不確実性もモデル化します。YOLOベースのモデルや他のビジョンタスクで一般化、較正、および不確実性推定を改善します。

ABSTRACT

With the advancements made in deep learning, computer vision problems like object detection and segmentation have seen a great improvement in performance. However, in many real-world applications such as autonomous driving vehicles, the risk associated with incorrect predictions of objects is very high. Standard deep learning models for object detection such as YOLO models are often overconfident in their predictions and do not take into account the uncertainty in predictions on out-of-distribution data. In this work, we propose an efficient and effective approach to model uncertainty in object detection and segmentation tasks using Monte-Carlo DropBlock (MC-DropBlock) based inference. The proposed approach applies drop-block during training time and test time on the convolutional layer of the deep learning models such as YOLO. We show that this leads to a Bayesian convolutional neural network capable of capturing the epistemic uncertainty in the model. Additionally, we capture the aleatoric uncertainty using a Gaussian likelihood. We demonstrate the effectiveness of the proposed approach on modeling uncertainty in object detection and segmentation tasks using out-of-distribution experiments. Experimental results show that MC-DropBlock improves the generalization, calibration, and uncertainty modeling capabilities of YOLO models in object detection and segmentation.

研究の動機と目的

• 物体検出とセグメンテーションにおける不確実性モデル化の必要性を特にOut-of-Distribution条件下で動機づける。
• ConvNetsの効率的なベイジアン風正則化としてMonte-Carlo DropBlockを提案する。
• MC-DropBlockがベイズCNNにおける変分推論に対応する理論的正当性を提供する。
• YOLOベースの検出器およびセグメンテーションモデルで不確実性モデル化、一般化、および較正を改善することを示す。
• ResNetsによる画像分類への適用性を示し、MC-Dropoutや他のベースラインと比較する。

提案手法

• DropBlockを畳み込み特徴マップ上で連続した領域をドロップすることでConvNetsを正則化する手法を導入する。
• 訓練時と推論時の両方でDropBlockを適用して複数のサブネットワーク予測を作成する（Monte Carloサンプリング）。
• ブロック単位の重みを確率γで0にするような変分分布を定式化し、畳み込み重みに対するベイジアン風ポスタ―を得る。
• ガウス尤度（例：Gaussian-YOLO）を用いて aleatoric 不確実性をモデル化し、MC-DropBlockと組み合わせて共同の epistemic+aleatoric 不確実性を得る。
• ベイズCNNsの変分推論と同等であることを理論的枠組みと実験（YOLOv4/YOLOv5、YOLACT、CIFAR-10/ImageNetのResNet）で示す。
• 物体検出、セグメンテーション、分類でOODおよび分布内設定を評価し、MC-DropBlockを訓練時DropBlock、推論時DropBlock、MC-Dropout、Gaussian-YOLOと比較する。

実験結果

リサーチクエスチョン

• RQ1 MC-DropBlockは物体検出とセグメンテーションにおいてOut-of-Distributionデータに対して信頼できる epistemic 不確実性推定を提供できるか。
• RQ2 推論時（テスト時）にDropBlockを適用することは、従来のMC-Dropoutよりも較正と不確実性を改善するか。
• RQ3 MC-DropBlockはYOLO系変種およびセグメンテーションモデルにおいて一般化性能（mAP、セグメンテーションmAP）と較正（Brierスコア）にどのような影響を及ぼすか。
• RQ4 Gaussian likelihoods（例：Gaussian-YOLO）と組み合わせた場合、Localization性能を損なうことなく aleatoric 不確実性をモデル化できるか。

主な発見

• MC-DropBlockは、MC-Dropoutや他のベースラインよりもOODデータ上で予測不確実性（エントロピー）が高い。
• 訓練時DropBlockと比較して物体検出とセグメンテーションで競争力のある、あるいは改善したmAPを提供し、ガウス損失を併用すると結果がさらに改善する。
• MC-DropBlockは較正を改善し、いくつかのベースラインより低いBrierスコアを達成し、多くの場合DropBlockなしや訓練時DropBlockのみの場合より優れている。
• 開放的設定(Open Imagesなど)での誤分類を減らすなど、定性的な結果が示され、BaselineおよびMC-Dropoutに比べて改善している。
• 分類タスクでは、CIFAR-10（ResNet-110）でMC-DropBlockはMC-Dropoutよりトップ1精度が高く、OODテスト（Imagenet）で不確実性の扱いが改善されている。