[論文レビュー] Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation

Hong Joo Lee, Seong Tae Kim+3 more|arXiv (Cornell University)|May 21, 2020

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本論文は、1つのアーキテクチャから多様なサブモデルを生成するための確率的レイヤー選択を用いる、意味セグメンテーションのための効率的なアンサンブルモデル生成手法を提案する。この手法により、最小限のパラメータ増加でベイジアン近似を用いた正確な不確実性推定が可能となり、新しいピクセル単位の不確実性損失を通じて予測性能が向上する。2つのサブモデルでのみ強力な結果を達成し、医療や自動運転応用における不確実性を考慮した意思決定を可能にする。

ABSTRACT

Recent studies have shown that ensemble approaches could not only improve accuracy and but also estimate model uncertainty in deep learning. However, it requires a large number of parameters according to the increase of ensemble models for better prediction and uncertainty estimation. To address this issue, a generic and efficient segmentation framework to construct ensemble segmentation models is devised in this paper. In the proposed method, ensemble models can be efficiently generated by using the stochastic layer selection method. The ensemble models are trained to estimate uncertainty through Bayesian approximation. Moreover, to overcome its limitation from uncertain instances, we devise a new pixel-wise uncertainty loss, which improves the predictive performance. To evaluate our method, comprehensive and comparative experiments have been conducted on two datasets. Experimental results show that the proposed method could provide useful uncertainty information by Bayesian approximation with the efficient ensemble model generation and improve the predictive performance.

研究の動機と目的

• ディープラーニングによるセグメンテーションにおける従来のアンサンブルモデルの高いパラメータコストを解消すること。
• 線形に増加するモデルパラメータを伴わずに、効果的なモデルの不確実性推定を可能にすること。
• 新しい損失関数を用いて不確実性を学習段階で活用することで、予測性能を向上させること。
• さまざまなセグメンテーションアーキテクチャに適用可能な汎用的でスケーラブルなフレームワークを開発すること。
• 信頼性の高い不確実性マップを提供することで、安全を要する応用分野における意思決定を支援すること。

提案手法

• M個のサブモデルからなるモデル集合を定義し、各サブモデルは同じエンコーダ・デコーダアーキテクチャだが異なる重みを持つ。
• 推論時にサブモデル間でレイヤーをランダムにサンプリングすることにより、確率的レイヤー選択を用いてアンサンブルモデルを生成する。
• 予測分散の変動を用いて不確実性を推定するため、モンテカルロドロップアウトを用いたベイジアン近似を適用する。
• 不確実性が高い領域を再重み付けすることで、学習段階で困難または曖昧なサンプルにモデルが集中するよう、ピクセル単位の不確実性損失を導入する。
• 2段階の訓練戦略を採用する：まずサブモデルを独立して訓練し、次に不確実性を考慮した損失を用いてアンサンブルを最適化する。
• フレームワークは汎用的かつスケーラブルであり、2つのサブモデルから数千ものアンサンブルモデルを理論的に生成可能である（例：DenseNetでは2048、U-Netでは262,144）。

実験結果

リサーチクエスチョン

• RQ1 不確実性推定の品質を損なわせることなく、アンサンブルモデル生成を効率化できるか？
• RQ2 不確実性を学習段階で効果的に活用することで、モデル性能を向上させられるか？
• RQ3 少数のサブモデル（例：M=2）で、高い性能を維持しつつ、大規模な有効アンサンブルを生成できるか？
• RQ4 提案されたピクセル単位の不確実性損失は、曖昧または不確実な領域でのセグメンテーション精度に測定可能な向上をもたらすか？
• RQ5 異なるアーキテクチャやデータセットに一般化可能であり、不確実性の信頼性を維持できるか？

主な発見

• 提案手法は、2つのサブモデルでのみ競争力のあるmIoUおよびDiceスコアを達成し、高い効率性とスケーラビリティを示した。
• アンサンブルサンプル数が増加するにつれて性能が向上し、わずか50サンプルの低サンプル数でも顕著な向上が見られた。
• 不確実性マップは、オクルージョンされた物体や未学習クラスなど、誤分類または曖昧な領域を効果的に強調しており、ユーザーの意思決定支援に有効である。
• ピクセル単位の不確実性損失により、困難なセグメンテーションピクセルに注目した学習が可能となり、不確実領域の誤差が減少したことが実証された。
• CamVidやTVUSを含む多様なアーキテクチャとデータセットに、良好な一般化性能を示し、定量的・定性的な優れた結果を達成した。
• アブレーションスタディにより、敵対的攻撃に対してもフレームワークが頑健であることが示され、安全を要する応用分野での有用性が示唆された。