[論文レビュー] Evaluating Bayesian Deep Learning Methods for Semantic Segmentation

Jishnu Mukhoti, Yarin Gal|arXiv (Cornell University)|Nov 30, 2018

Anomaly Detection Techniques and Applications参考文献 62被引用数 150

ひとこと要約

この論文は、セマンティックセグメンテーションにおけるベイズ深層学習の不確実性評価指標を3つ提案し、Cityscapes において MC ドロップアウトと Concrete ドロップアウト を用いた Bayesian DeepLab のバリアントを実装し、決定論的なベースラインと不確実性品質をベンチマークする。

ABSTRACT

Deep learning has been revolutionary for computer vision and semantic segmentation in particular, with Bayesian Deep Learning (BDL) used to obtain uncertainty maps from deep models when predicting semantic classes. This information is critical when using semantic segmentation for autonomous driving for example. Standard semantic segmentation systems have well-established evaluation metrics. However, with BDL's rising popularity in computer vision we require new metrics to evaluate whether a BDL method produces better uncertainty estimates than another method. In this work we propose three such metrics to evaluate BDL models designed specifically for the task of semantic segmentation. We modify DeepLab-v3+, one of the state-of-the-art deep neural networks, and create its Bayesian counterpart using MC dropout and Concrete dropout as inference techniques. We then compare and test these two inference techniques on the well-known Cityscapes dataset using our suggested metrics. Our results provide new benchmarks for researchers to compare and evaluate their improved uncertainty quantification in pursuit of safer semantic segmentation.

研究の動機と目的

• ベイズ深層学習を適用する際、セマンティックセグメンテーションに特化した不確実性指標の必要性を動機づける。
• セグメンテーション出力におけるピクセルレベルの不確実性を評価する3つの指標を導入する。
• MC ドロップアウトと Concrete ドロップアウト を用いて確率的セグメンテーションモデル（Bayesian DeepLab）を開発する。
• Cityscapes において Bayesian 法の不確実性品質を決定論的ベースラインと比較してベンチマークする。

提案手法

• 基礎アーキテクチャは DeepLab-v3+、バックボーンは Xception、ASPP。
• ドロップアウトベースの近似推論を組み込み、Bayesian DeepLab のバリアントを作成する：MC ドロップアウトと Concrete ドロップアウト。
• 4つの Xception モジュールごとに後ろ向きのフローにドロップアウト層を挿入し、レートは 0.5。
• 不確実性指標を定義・計算する：予測エントロピーと相互情報量。
• パッチ全体にわたる不確実性ベースの性能指標を2つ提案する：p(accurate|certain) と p(uncertain|inaccurate)、および複合指標 PAvPU。
• Cityscapes の検証セットを用いて、Bayesian バリアントを決定論的 DeepLab と比較する。

実験結果

リサーチクエスチョン

• RQ1 ベイズセマンティックセグメンテーションにおける不確実性品質を評価する新規のタスク特化指標は有効か。
• RQ2 MC ドロップアウトと Concrete ドロップアウト はセグメンテーションのピクセル毎不確実性マップを信頼性高く生成できるか。
• RQ3 Bayesian DeepLab モデルは Cityscapes においてセグメンテーション精度と不確実性診断の両方で決定論的ベースラインを上回るか。

主な発見

Method	Pixel Accuracy	Mean Accuracy	Mean IOU
DeepLab (VGG-16) [10]	NA	NA	65.94
DeepLab (ResNet-101) [10]	NA	NA	71.40
DeepLab-v3 (OS=16) [11]	NA	NA	77.23
DeepLab-v3+ (X-65) [13]	NA	NA	79.14
Bayesian DeepLab — MC Dropout	95.31	85.11	78.05
Bayesian DeepLab — Concrete Dropout	96.47	87.26	79.12

• Concrete ドロップアウトはピクセル精度、平均精度、平均 IOU のすべてで MC ドロップアウトを上回る。
• 両方の Bayesian DeepLab バリアントは決定論的ベースラインをセグメンテーション指標で上回り、Concrete ドロップアウトが最良の結果を達成（IOU 79.12 対 DeepLab-v3+ の 79.14）。
• 決定論的モデルは相互情報量を介してエピステミック不確実性を捉えられず、ベイズ的バリアントとは異なる。
• 予測エントロピーはアレロリックとエピステミックの両方の不確実性を捉え、相互情報量はエピステミック不確実性を分離する。
• Bayesian 法はピクセルレベルで解釈可能な不確実性マップを生成し、不確実性の閾値は提案指標に影響を与える。
• 温度スケーリングによるキャリブレーション（ECE/MCE）は、提案指標と異なり Bayesian と決定論的モデルを区別しない。