[論文レビュー] DropConnect Is Effective in Modeling Uncertainty of Bayesian Deep Networks

Aryan Mobiny, Hien Van Nguyen+3 more|arXiv (Cornell University)|Jun 7, 2019

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本稿では、ネットワーク重みにベルヌーイドロップアウトを適用することで、追加のパラメータやトレーニングコストを伴わずに、深層ニューラルネットワークにおけるベイジアン推論を計算的に効率的に近似するMC-DropConnectを提案する。画像分類およびセマンティックセグメンテーションのタスクにおいて、予測精度と不確実性のキャリブレーションを著しく向上させ、MC-Dropoutを上回り、不確実性を考慮した深層学習の新しいベンチマークを確立する。

ABSTRACT

Deep neural networks (DNNs) have achieved state-of-the-art performances in many important domains, including medical diagnosis, security, and autonomous driving. In these domains where safety is highly critical, an erroneous decision can result in serious consequences. While a perfect prediction accuracy is not always achievable, recent work on Bayesian deep networks shows that it is possible to know when DNNs are more likely to make mistakes. Knowing what DNNs do not know is desirable to increase the safety of deep learning technology in sensitive applications. Bayesian neural networks attempt to address this challenge. However, traditional approaches are computationally intractable and do not scale well to large, complex neural network architectures. In this paper, we develop a theoretical framework to approximate Bayesian inference for DNNs by imposing a Bernoulli distribution on the model weights. This method, called MC-DropConnect, gives us a tool to represent the model uncertainty with little change in the overall model structure or computational cost. We extensively validate the proposed algorithm on multiple network architectures and datasets for classification and semantic segmentation tasks. We also propose new metrics to quantify the uncertainty estimates. This enables an objective comparison between MC-DropConnect and prior approaches. Our empirical results demonstrate that the proposed framework yields significant improvement in both prediction accuracy and uncertainty estimation quality compared to the state of the art.

研究の動機と目的

• 医療診断や自動運転などの安全上の重要なアプリケーションにおける深層ニューラルネットワークのモデル不確実性推定の課題に対処すること。
• 正確な事後分布推論の非可解性を避ける、スケーラブルで計算的に扱いやすいベイジアンニューラルネットワークの近似を構築すること。
• モデル構造を変更せずに、既存のモデル構造を活用して不確実性推定を抽出する手法を導入することにより、モデルの複雑さや推論コストを増加させないこと。
• 異なるベイジアンディープラーニングフレームワーク間での不確実性推定性能を客観的に評価・比較できる新しい指標を提案すること。
• 不確実性を考慮した予測が、信頼できない予測を特定することで、現実世界のAIシステムにおける意思決定を改善できることを実証すること。

提案手法

• 深層ニューラルネットワークの重みに直接ベルヌーイ分布を適用することで、事後分布の不確実性をモデル化し、モンテカルロサンプリングによる近似的なベイジアン推論を可能にする。
• 確率的ドロップアウトのモンテカルロサンプリングを用いて予測分布を推定し、ネットワークアーキテクチャを変更せずにモデルの不確実性を定量化する。
• ベルヌーイ重み付き推論における期待出力および分散の解析的表現を導出し、推論時に効率的な不確実性評価を可能にする。
• 分類およびセマンティックセグメンテーションタスクにおいて、ResNet、ENet、V-Netなどの最先端モデルにMC-DropConnectを統合する。
• セグメンテーションモデルにおける空間的ドロップアウト層を、不確実性推定を可能にする標準的ドロップアウトおよびドロップコネクト層に置き換えることで、3Dボリュームデータにおける不確実性推定を実現する。
• 信頼度ごとのパcentileごとのピクセル単位の精度を評価する信頼度ベースの精度指標を導入し、不確実性の質の客観的比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最小限の計算オーバーヘッドで、単純な重み単位のベルヌーイドロップアウト機構が、深層ネットワークにおけるベイジアン事後分布推論を効果的に近似できるか？
• RQ2 異なるタスクやアーキテクチャにおいて、MC-DropConnectはMC-Dropoutに比べて不確実性推定の質や予測精度で優れているか？
• RQ3 モデルの不確実性は、特にレアクラスや曖昧な入力において、予測の正しさとどの程度相関しているか？
• RQ4 MC-DropConnectから得られる不確実性推定値を用いて、低信頼度の予測をフィルタリングすることで、システムの信頼性を向上させられるか？
• RQ5 不確実性マップは、クラス境界、レアクラス、または視覚的に類似したオブジェクトカテゴリといった、既知の曖昧要因をどの程度反映しているか？

主な発見

• CT-Organデータセットにおいて、MC-DropConnectはモデルの信頼度の90百分位で、ピクセル単位のセグメンテーション精度を最大99.99%向上させ、不確実性と予測信頼性の強い相関を示した。
• CityScapesデータセットでは、MC-DropConnectが90%の最も信頼度の高い予測で99.32%の精度を達成し、不確実性推定の高いキャリブレーションを示した。
• 評価されたすべてのデータセットおよびアーキテクチャにおいて、MC-DropConnectは不確実性推定の質と予測精度の両面でMC-Dropoutを上回った。
• MC-DropConnectの不確実性推定値は、レアクラス（例：CamVidにおけるポール、標識記号）や曖昧なオブジェクトペア（例：自転車 vs. 歩行者）に対して一貫して高くなる傾向にあり、現実世界の予測難易度を反映していた。
• オブジェクトの境界付近やラベルの曖昧な領域では、モデルの不確実性が高くなる傾向にあり、不確実性マップが意味のある不確実性パターンを捉えていることが確認された。
• 提案された信頼度ベースの精度指標により、高信頼度の予測が極めて正確であることが示され、不確実性推定値がモデルの信頼度を信頼できる指標として機能していることが妥当性を確認した。