[論文レビュー] Quantifying Intrinsic Uncertainty in Classification via Deep Dirichlet Mixture Networks

Qingyang Wu, He Li+2 more|arXiv (Cornell University)|Jun 11, 2019

Gaussian Processes and Bayesian Inference参考文献 23被引用数 7

ひとこと要約

本論文は、分類確率をディリクレ混合分布から得られる確率変数としてモデル化することで、深層学習分類における固有の不確実性を定量化するためのDeep Dirichlet Mixture Networks (DDMN)を提案する。この手法は、1サンプルあたり複数のラベルを持つことで、予測確率の真の分布を学習し、ラベルの不一致や低信頼度を反映する信頼区間を生成する。アルツハイマー病のMRIデータを用いた実験で、広い信頼区間がラベルの不一致と低い信頼度を示すことが実証された。

ABSTRACT

With the widespread success of deep neural networks in science and technology, it is becoming increasingly important to quantify the uncertainty of the predictions produced by deep learning. In this paper, we introduce a new method that attaches an explicit uncertainty statement to the probabilities of classification using deep neural networks. Precisely, we view that the classification probabilities are sampled from an unknown distribution, and we propose to learn this distribution through the Dirichlet mixture that is flexible enough for approximating any continuous distribution on the simplex. We then construct credible intervals from the learned distribution to assess the uncertainty of the classification probabilities. Our approach is easy to implement, computationally efficient, and can be coupled with any deep neural network architecture. Our method leverages the crucial observation that, in many classification applications such as medical diagnosis, more than one class labels are available for each observational unit. We demonstrate the usefulness of our approach through simulations and a real data example.

研究の動機と目的

• 分類タスクにおける深層ニューラルネットワーク予測の明示的不確実性定量化の欠如に対処すること。
• 分類確率を固定値としてではなく、未知の分布に従う確率変数としてモデル化すること。
• 医療・科学分野で一般的な1サンプルあたり複数のラベルを活用し、予測確率の真の分布を推定すること。
• 点推定と信頼区間の両方を出力し、不確実性を反映することで意思決定を向上させること。
• MCMCや複雑なベイズ学習を必要とせず、頻度主義フレームワークに基づき計算効率の良いベイズ的不確実性記述を実現すること。

提案手法

• 分類確率を単体上での未知の分布からの実現値としてモデル化し、K個の成分を有するディリクレ混合で近似する。
• 二値分類にはベータ混合モデルを用い、多値分類へはディリクレ分布を用いて拡張する。
• 標準的な深層ニューラルネットワークの出力層に混合モデルを追加することで、アーキテクチャの柔軟性を維持する。
• 観測された複数ラベルデータの負の対数尤度を用いて、最尤推定により混合モデルのパラメータを推定する。
• 学習された混合分布から信頼区間を構築し、予測確率の不確実性を定量化する。
• 事後分布サンプリングやMCMCを必要とせず、頻度主義的推論フレームワークを用いてベイズ的信頼区間を生成する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを拡張し、分類確率の点推定に加えて、固有の不確実性を反映する信頼区間を出力できるか？
• RQ2 1サンプルあたりの複数ラベルを活用して、分類確率の真の分布をどのようにモデル化できるか？
• RQ3 診断の混在した状況（例：混合診断）において、ラベルの一致が低い場合に、提案手法がより信頼性の高い不確実性推定を提供できるか？
• RQ4 この手法は計算的に効率的に実装可能であり、任意の標準的な深層学習アーキテクチャと組み合わせられるか？
• RQ5 信頼区間の幅は、ラベルの不一致とモデルの信頼度のどの程度相関しているか？

主な発見

• アルツハイマー病のMRIデータセットにおいて、NC+MCIの診断が一貫していた患者では、予測されたAD確率が0.1未満であり、信頼区間の幅も0.15未満であった。これは高い信頼度と低い不確実性を示している。
• AD診断が一貫していた患者に対しても、信頼区間は狭く、一貫性があり信頼できる予測であることが示された。
• 診断ラベルが混合（MIX群）の患者では、信頼区間が顕著に広く、幅が0.3を超えていた。これはラベルの不一致に起因する高い不確実性を示している。
• MMSEスコアがちょうど23の閾値に一致する被験者4号は、予測確率が0.45であり、幅0.3の広い信頼区間を示した。これは曖昧なラベリングに起因する不確実性を示している。
• この手法は不確実性を効果的に捉えており、MIX群では一貫して広い信頼区間が観察された。一方、ラベルの一致がある場合には狭い信頼区間が観察された。
• このアプローチは、信頼区間の幅がラベルの不一致と相関していることを示しており、実世界の状況においてモデルの信頼度を信頼できる指標として提供している。