[논문 리뷰] Evaluating Bayesian Deep Learning Methods for Semantic Segmentation

Jishnu Mukhoti, Yarin Gal|arXiv (Cornell University)|2018. 11. 30.

Anomaly Detection Techniques and Applications참고 문헌 62인용 수 150

한 줄 요약

이 논문은 시맨틱 분할에서 Bayesian 딥러닝의 불확실성 평가를 위한 세 가지 지표를 제안하고, MC dropout 및 Concrete dropout을 적용한 Bayesian DeepLab 변형을 Cityscapes에서 구현하며, 결정론적 기준선과 비교하여 불확실성 품질을 평가한다.

ABSTRACT

Deep learning has been revolutionary for computer vision and semantic segmentation in particular, with Bayesian Deep Learning (BDL) used to obtain uncertainty maps from deep models when predicting semantic classes. This information is critical when using semantic segmentation for autonomous driving for example. Standard semantic segmentation systems have well-established evaluation metrics. However, with BDL's rising popularity in computer vision we require new metrics to evaluate whether a BDL method produces better uncertainty estimates than another method. In this work we propose three such metrics to evaluate BDL models designed specifically for the task of semantic segmentation. We modify DeepLab-v3+, one of the state-of-the-art deep neural networks, and create its Bayesian counterpart using MC dropout and Concrete dropout as inference techniques. We then compare and test these two inference techniques on the well-known Cityscapes dataset using our suggested metrics. Our results provide new benchmarks for researchers to compare and evaluate their improved uncertainty quantification in pursuit of safer semantic segmentation.

연구 동기 및 목표

• 베이지안 딥러닝을 시맨틱 분할에 적용할 때 특화된 불확실성 지표의 필요성을 동기 부여한다.
• 세그먼트 출력의 픽셀 수준 불확실성을 평가하기 위한 세 가지 지표를 도입한다.
• MC dropout과 Concrete dropout을 사용하여 확률적 분할 모델(Bayesian DeepLab)을 개발한다.
• Cityscapes에서 결정론적 기준선에 비해 베이지안 방법의 불확실성 품질을 벤치마크한다.

제안 방법

• 기본 아키텍처는 Xception 백본과 ASPP를 갖춘 DeepLab-v3+이다.
• 드롭아웃 기반 근사 추론을 도입하여 Bayesian DeepLab 변형을 생성한다: MC dropout 및 Concrete dropout.
• 중간 흐름에 드롭아웃 층을 삽입한다(매 4개의 Xception 모듈 뒤, 비율 0.5).
• 예측 엔트로피와 상호정보량을 정의하고 계산한다.
• 패치 전반에 걸친 불확실성 기반 성능 지표 두 가지를 제안한다: p(accurate|certain)와 p(uncertain|inaccurate), 그리고 합성 지표 PAvPU.
• Cityscapes 검증 세트를 사용하여 베이지언 변형을 결정론적 DeepLab과 비교한다.

실험 결과

연구 질문

• RQ1 새로운 작업 특화 지표가 베이지안 시맨틱 분할에서 불확실성 품질을 효과적으로 평가할 수 있는가?
• RQ2 MC dropout과 Concrete dropout은 분할에 대한 신뢰할 수 있는 픽셀 단위 불확실성 맵을 생성하는 데 어떤 차이가 있는가?
• RQ3 Cityscapes에서 베이지안 DeepLab 모델은 분할 정확도와 불확실성 진단 모두에서 결정론적 기준선을 능가하는가?

주요 결과

방법	픽셀 정확도	평균 정확도	평균 IOU
DeepLab (VGG-16) [10]	NA	NA	65.94
DeepLab (ResNet-101) [10]	NA	NA	71.40
DeepLab-v3 (OS=16) [11]	NA	NA	77.23
DeepLab-v3+ (X-65) [13]	NA	NA	79.14
Bayesian DeepLab — MC Dropout	95.31	85.11	78.05
Bayesian DeepLab — Concrete Dropout	96.47	87.26	79.12

• Concrete dropout은 픽셀 정확도, 평균 정확도, 평균 IOU에서 MC dropout보다 우수하다.
• 두 가지 베이지안 DeepLab 변형 모두 분할 지표에서 결정론적 기준선을 상회하며, Concrete dropout이 최상의 결과(IOU 79.12 vs 79.14 for DeepLab-v3+)를 달성한다.
• 결정론적 모델은 뮤추얼 정보량을 통해 인식적 불확실성을 포착하지 못하는 반면, 베이지안 변형은 이를 포착한다.
• 예측 엔트로피는 해석적 불확실성(=음영적 불확실성)과 인식적 불확실성을 모두 포착하는 반면, 상호정보량은 인식적 불확실성을 분리해낸다.
• 베이지언 방법은 픽셀 단위의 해석 가능한 불확실성 맵을 생성하고, 불확실성 임계치는 제안된 지표에 영향을 미친다.
• 온도 스케일링 보정(ECE/MCE)은 제안된 지표와 달리 베이지언 모델과 결정론적 모델을 구분하지 못한다.