[論文レビュー] Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding

Alex Kendall, Vijay Badrinarayanan+1 more|arXiv (Cornell University)|Nov 9, 2015

Advanced Neural Network Applications被引用数 302

ひとこと要約

Bayesian SegNet は、推論時におけるモンテカルロドロップアウトを用いてモデルの不確実性を推定する確率的ディープラーニングフレームワークを導入し、画素単位の予測に対する信頼性のある信頼度推定を可能にする。SegNet や FCN、Dilation Network といったアーキテクチャにおいて、2–3% の精度向上を達成しており、特に小さなデータセットではより顕著な向上が見られ、GPU 上でリアルタイム推論を維持している。

ABSTRACT

We present a deep learning framework for probabilistic pixel-wise semantic segmentation, which we term Bayesian SegNet. Semantic segmentation is an important tool for visual scene understanding and a meaningful measure of uncertainty is essential for decision making. Our contribution is a practical system which is able to predict pixel-wise class labels with a measure of model uncertainty. We achieve this by Monte Carlo sampling with dropout at test time to generate a posterior distribution of pixel class labels. In addition, we show that modelling uncertainty improves segmentation performance by 2-3% across a number of state of the art architectures such as SegNet, FCN and Dilation Network, with no additional parametrisation. We also observe a significant improvement in performance for smaller datasets where modelling uncertainty is more effective. We benchmark Bayesian SegNet on the indoor SUN Scene Understanding and outdoor CamVid driving scenes datasets.

研究の動機と目的

• 画素単位の予測に対して、セマンティックセグメンテーションに加えてモデルの不確実性を測定できるディープラーニングフレームワークの開発。
• SegNet や FCN のような最新の畳み込みエンコーダデコーダアーキテクチャにおいて、不確実性の定量化が不足している問題に対処すること。
• 推論時にモデルの不確実性を活用することで、特に小さなデータセットや困難なデータセットにおいてセグメンテーション性能を向上させること。
• モデルの不確実性が予測の信頼度と相関しており、安全が求められるアプリケーションにおけるアクティブラーニングや意思決定を支援できることを示すこと。
• 最小限のアーキテクチャ的変更で、不確実性推定を伴うリアルタイム推論を可能にすること。

提案手法

• 推論時にドロップアウトを適用することで、深層エンコーダデコーダアーキテクチャ（例：SegNet、FCN、Dilation Network）をベイジアンニューラルネットワークに変換し、重みの事後分布を近似する。
• ドロップアウトを用いたモンテカルロサンプリングにより複数回の順方向伝搬を実行し、セグメンテーション出力の分布を生成することで、画素ごとの不確実性推定を可能にする。
• 不確実性推定が不要な場合の高速推論バージョンとして重みの平均化を採用し、高い速度を維持する。
• モンテカルロサンプル間の分散を不確実性としてモデル化し、分散が大きいほど予測の信頼度が低いことを示す。
• 追加のパrameter化を施さずに、元のモデルのアーキテクチャと推論効率を維持する。
• クラスの正解率とデータセット内での頻度との相関分析を通じて、不確実性の信頼性を検証する。

実験結果

リサーチクエスチョン

• RQ1 推論時にモンテカルロドロップアウトを用いることで、セマンティックセグメンテーションネットワークにおけるモデルの不確実性を効果的に推定できるか？
• RQ2 モデルの不確実性を組み込むことで、さまざまなアーキテクチャやデータセットにおいてセグメンテーション精度が向上するか？
• RQ3 モデルの不確実性が、過学習の低減に寄与するため、小さなデータセットにおいてより顕著な性能向上をもたらすか？
• RQ4 推定された不確実性は、実際の予測の信頼度やクラスの難易度とどれほど相関しているか？
• RQ5 不確実性の測定値は、オブジェクトの境界やレアクラスなど、識別が難しい領域を特定するために利用できるか？

主な発見

• Bayesian SegNet は、SegNet や FCN、Dilation Network といった複数の最先端アーキテクチャにおいて、追加パrameterなしに 2–3% の精度向上を達成している。
• CamVid のような小さなデータセットでは、不確実性モデリングにより過学習が軽減され、一般化性能が向上するため、性能向上が顕著に現れる。
• モデルの不確実性は、クラスの正解率および頻度と強く逆相関している：一般的で識別が容易なクラス（例：空、道路）に対しては信頼度が高く、レアクラスや曖昧なクラス（例：標識記号、自転車乗り）に対しては信頼度が低い。
• オブジェクトの境界や視覚的に曇りやすいオブジェクトでは、不確実性が高くなる傾向を示しており、予測の不確実性を信頼できる方法で検出できている。
• モデルの不確実性が第90百分位数を超える予測では、セグメンテーション精度が依然として非常に高い水準を維持しており、不確実性が信頼できる信頼度指標であることが確認された。
• Bayesian SegNet はリアルタイム推論を達成しており、標準的な SegNet では 1 フレームあたり 35ms、10 回のモンテカルロサンプルを伴う場合は Titan X GPU で 90ms の遅延で動作する。