[論文レビュー] Deep Ensemble Bayesian Active Learning : Addressing the Mode Collapse issue in Monte Carlo dropout via Ensembles

Remus Pop, Patric Fulop|arXiv (Cornell University)|Nov 9, 2018

Machine Learning and Algorithms参考文献 32被引用数 25

ひとこと要約

本稿では、モンテカルロドロップアウトとモデルアンサンブルを組み合わせることで、ベイジアンアクティブラーニングにおけるモードコラプス問題を克服する、ディープアンサンブルベイジアンアクティブラーニング（DEBAL）を提案する。アンサンブルの統計的安定性を活用することで、より優れた不確実性推定が達成され、MNISTおよびCIFAR-10において、標準的なMCドロップアウト手法と比較して収束が速く、分類性能が向上する。

ABSTRACT

In image classification tasks, the ability of deep CNNs to deal with complex image data has proven to be unrivalled. However, they require large amounts of labeled training data to reach their full potential. In specialised domains such as healthcare, labeled data can be difficult and expensive to obtain. Active Learning aims to alleviate this problem, by reducing the amount of labelled data needed for a specific task while delivering satisfactory performance. We propose DEBAL, a new active learning strategy designed for deep neural networks. This method improves upon the current state-of-the-art deep Bayesian active learning method, which suffers from the mode collapse problem. We correct for this deficiency by making use of the expressive power and statistical properties of model ensembles. Our proposed method manages to capture superior data uncertainty, which translates into improved classification performance. We demonstrate empirically that our ensemble method yields faster convergence of CNNs trained on the MNIST and CIFAR-10 datasets.

研究の動機と目的

• モンテカルロドロップアウトに基づくベイジアンアクティブラーニングにおけるモードコラプス問題に対処すること。これは、過信した予測と劣悪な不確実性推定を引き起こす。
• モデルアンサンブルの表現力と統計的性質を統合することで、ディープアクティブラーニングにおける不確実性の定量化を改善すること。
• アンサンブルに基づく不確実性推定が、収束速度の向上と画像分類タスクにおける性能の向上に寄与することを実証的に検証すること。
• 確率的アンサンブル（MCドロップアウトを用いる）が、アクティブラーニングの文脈において、決定的アンサンブルよりも良好にキャリブレーションされた不確実性を提供することを示すこと。
• 改善された不確実性表現が、安全上の重要な応用分野における分布シフトや adversarial 例に対する耐性を向上させることを調査すること。

提案手法

• MCドロップアウトとモデルアンサンブルを組み合わせて、ディープアクティブラーニングにおける不確実性推定を向上させるハイブリッド手法である、ディープアンサンブルベイジアンアクティブラーニング（DEBAL）を提案する。
• 単一のディープニューラルネットワークの事後分布からサンプリングするためにモンテカルロドロップアウトを用いる一方で、予測分布の多様性を捉えるために、複数の独立したモデルをアンサンブルとして訓練する。
• 予測不確実性とアンサンブルメンバー間の不一致に基づいて、最も情報量の多いサンプルを選択するため、BALD（Bayesian Active Learning by Disagreement）の獲得関数を採用する。
• 決定的アンサンブルと確率的アンサンブルの両方のバリアントを適用し、後者では各アンサンブルメンバー内にMCドロップアウトを用いることで、不確実性のキャリブレーションを向上させる。
• 期待される精度と観測された精度、およびブライアースコアを用いて、不確実性のキャリブレーションを評価する。
• MNISTおよびCIFAR-10でモデルを訓練し、バッチ獲得を用いたアクティブラーニングを実施し、異なる不確実性推定戦略の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 MCドロップアウトにおけるモードコラプスは、ベイジアンアクティブラーニングにおいて過信した予測と性能の低下を引き起こすか？
• RQ2 モデルアンサンブルは、MCドロップアウトに基づく不確実性推定におけるモードコラプス問題を効果的に緩和できるか？
• RQ3 MCドロップアウトとアンサンブル学習を組み合わせることで、よりキャリブレーションが良く、意味のある不確実性推定が得られるか？
• RQ4 DEBALの性能は、標準的なMCドロップアウトおよび決定的アンサンブル手法と比較して、収束速度および最終的な精度の面で優れているか？
• RQ5 DEBALにおける改善された不確実性表現は、分布シフトや adversarial 例に対する耐性を向上させることができるか？

主な発見

• DEBALはアンサンブル予測の多様性を活用することで、モードコラプスを顕著に低減し、より信頼性の高い不確実性推定を実現する。
• 確率的アンサンブル（MCドロップアウトを用いる）は、決定的アンサンブルよりも良好な不確実性キャリブレーションを達成しており、ブライアースコアが低く（0.0244 vs. 0.0297）示されている。
• MNISTおよびCIFAR-10において、DEBALは標準的なMCドロップアウトアクティブラーニングと比較して、収束が速く、最終的な精度が向上する。
• 不確実性ヒストограмの結果から、確率的アンサンブルは、不確実性が高くなるにつれて精度が一貫して低下する、より意味のある不確実性推定を生成していることがわかる。特に、未学習データ（NotMNIST）において顕著である。
• 確率的アンサンブルによって取得されたデータで訓練された決定的アンサンブルも、性能が向上しており、不確実性推定における確率的性質の利点を裏付けている。
• 結果から、DEBALの改善された不確実性表現は、安全上の重要なディープラーニング応用分野におけるadversarial耐性の向上に寄与する可能性があると示唆される。