[論文レビュー] Is MC Dropout Bayesian?

Loïc Le Folgoc, Vasileios Baltatzis+8 more|arXiv (Cornell University)|Oct 8, 2021

Gaussian Processes and Bayesian Inference被引用数 8

ひとこと要約

この論文は、モンテカルロドロップアウト（MC Dropout）がベイジアンの不確実性評価を提供するとする仮定に挑戦し、それが本質的に真のベイジアンモデルを変更し、真のパラメータに確率ゼロを割り当てるものであることを示している。代わりに、構造的（対角＋低ランク）正規分布およびガウス・ミックスチャネル変分族を用いた、PyTorchで実装された汎用的で柔軟な変分推論エンジンを提案しており、深層学習における正確でスケーラブルな不確実性推定を実現する。

ABSTRACT

MC Dropout is a mainstream "free lunch" method in medical imaging for approximate Bayesian computations (ABC). Its appeal is to solve out-of-the-box the daunting task of ABC and uncertainty quantification in Neural Networks (NNs); to fall within the variational inference (VI) framework; and to propose a highly multimodal, faithful predictive posterior. We question the properties of MC Dropout for approximate inference, as in fact MC Dropout changes the Bayesian model; its predictive posterior assigns $0$ probability to the true model on closed-form benchmarks; the multimodality of its predictive posterior is not a property of the true predictive posterior but a design artefact. To address the need for VI on arbitrary models, we share a generic VI engine within the pytorch framework. The code includes a carefully designed implementation of structured (diagonal plus low-rank) multivariate normal variational families, and mixtures thereof. It is intended as a go-to no-free-lunch approach, addressing shortcomings of mean-field VI with an adjustable trade-off between expressivity and computational complexity.

研究の動機と目的

• モンテカルロドロップアウトがニューラルネットワークにおいて真にベイジアン近似推論を実行しているかどうかを厳密に評価すること。
• モンテカルロドロップアウトが下位のベイジアンモデルを変更し、真のモデルパラメータに非ゼロ確率を割り当てないことを示すこと。
• 任意の深層学習モデルに適応可能な汎用的で効率的な変分推論エンジンを設計すること。
• 構造的およびミックスチャネル変分族を用いた実用的でオープンソースのPyTorchベースの実装を提供し、不確実性評価を向上させること。
• 真の事後分布に忠実なMCドロップアウトの代替手段を提供すること。

提案手法

• 論文は、真の事後分布を近似するために柔軟な変分族を用い、Evidence Lower Bound（ELBO）を最大化する形で変分推論を定式化する。
• 表現力と計算コストのバランスを図るために、対角成分と低ランク成分を組み合わせた構造的正規変分族を導入する。
• 多モーダルな事後分布をモデル化するために、このような構造的正規分布の混合（sGMM-VI）に拡張する。
• PyTorchで実装され、任意のニューラルネットワークアーキテクチャと即座に統合可能なように設計されている。
• KLダイバージェンスと対数尤度を指標として用い、閉形式のベンチマーク（多変量正規分布およびRBF回帰タスク）で手法を評価する。
• MAP、平均場VI、構造的VIと比較して、複数の合成設定においてMCドロップアウトの事後分布適合度を評価する。

実験結果

リサーチクエスチョン

• RQ1 MCドロップアウトは真にベイジアン推論を実行しているのか、それとも下位の確率的モデルを変更しているのか？
• RQ2 閉形式設定において、MCドロップアウトの真の予測事後分布は何か？ そして、真の事後分布と比べてどうなるか？
• RQ3 表現力と計算効率の両立を図れる、深層学習モデル向けの汎用的変分推論エンジンを設計できるか？
• RQ4 構造的変分族（対角＋低ランク）の性能は、MCドロップアウトおよび平均場VIと比べて、事後分布近似の質においてどのように差が出るか？
• RQ5 MCドロップアウトの予測事後分布の多モーダル性は、真のモデルの不確実性を反映しているのか、それとも設計上のアーティファクトに起因するのか？

主な発見

• 閉形式ベンチマークにおいて、MCドロップアウトは真のモデルパラメータに確率ゼロを割り当てており、真の事後分布を近似していないことを示している。
• MCドロップアウトの多モーダルな予測事後分布は、そのサンプリング機構に起因するアーティファクトであり、真のエピステミック的不確実性を反映しているわけではない。
• RBF回帰の設定では、MCドロップアウトの真のパラメータの対数尤度は−∞である一方、構造的VI手法は非ゼロで意味のある尤度を割り当てている。
• 多変量正規分布タスクにおいて、構造的正規変分族（sN-VI）は真の事後分布とのKLダイバージェンスが0.0979にまで低下し、MCドロップアウトを著しく上回った。
• 4つの低ランク成分を有するsN-VIはKLダイバージェンス0.8774を達成したが、サニティーチェックにおいてMCドロップアウトは有限なKLダイバージェンスを計算できなかった。
• 提案された変分推論エンジンは、モデルの表現力と計算コストの間でチューニング可能なトレードオフを実現でき、MCドロップアウトの信頼性の高い代替手段を提供する。