[論文レビュー] Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift

Alexander Chan, Ahmed M. Alaa+2 more|arXiv (Cornell University)|Jun 26, 2020

Fault Detection and Control Systems被引用数 14

ひとこと要約

本稿では、特徴量分布のずれ（covariate shift）下でのニューラルネットワークのベイジアン不確実性のキャリブレーションを向上させるために、教師なしのターゲットデータを仮のラベルとして用いることで事後分布を正則化する、Transductive Dropoutという手法を提案する。分布外のポイントに対して高い不確実性を促すことで、分布がずれたデータにおける予測の過信を顕著に低減し、多様な人口集団における前立腺がん死亡リスク予測において、標準的なモンテカルロドロップアウトを上回る性能を示した。

ABSTRACT

Modern neural networks have proven to be powerful function approximators, providing state-of-the-art performance in a multitude of applications. They however fall short in their ability to quantify confidence in their predictions - this is crucial in high-stakes applications that involve critical decision-making. Bayesian neural networks (BNNs) aim at solving this problem by placing a prior distribution over the network's parameters, thereby inducing a posterior distribution that encapsulates predictive uncertainty. While existing variants of BNNs based on Monte Carlo dropout produce reliable (albeit approximate) uncertainty estimates over in-distribution data, they tend to exhibit over-confidence in predictions made on target data whose feature distribution differs from the training data, i.e., the covariate shift setup. In this paper, we develop an approximate Bayesian inference scheme based on posterior regularisation, wherein unlabelled target data are used as "pseudo-labels" of model confidence that are used to regularise the model's loss on labelled source data. We show that this approach significantly improves the accuracy of uncertainty quantification on covariate-shifted data sets, with minimal modification to the underlying model architecture. We demonstrate the utility of our method in the context of transferring prognostic models of prostate cancer across globally diverse populations.

研究の動機と目的

• テストデータの分布が学習データと異なる場合（特徴量分布のずれ）に生じるベイジアンニューラルネットワーク予測の過信問題を解決すること。
• 誤診断が深刻な結果をもたらす可能性がある医療予後予測のような高リスク応用分野における不確実性の定量化を改善すること。
• ターゲットドメインからのラベルなしデータを活用して、ラベルなしデータを必要とせずに不確実性推定を精緻化する手法を開発すること。
• 実世界の医療予測タスク、特に分布が異なるグローバルな人口集団を対象とした状況において、ラベルなしデータを用いた事後分布の正則化の有効性を実証すること。

提案手法

• 本手法は、モデルの過信を抑えるために、分布外のポイントに対して不確実性を高める目的で、ターゲットデータを「仮のラベル」として用いる事後分布正則化スキームを導入する。
• 学習データとターゲットデータにおける予測分散の差を評価することで、分布外のポイントに対して高い分散を出力するようモデルを正則化する項を定式化する。
• 本手法はモンテカルロドロップアウトフレームワーク（MCDP）内に実装され、変分推論の目的関数にトランスダクティブ正則化損失を追加する。
• 正則化損失は、ソースデータとターゲットデータにおけるモデルの予測分散を比較することで計算され、分布内・分布外のポイントにおける不確実性の乖離を促進する。
• 本手法はトランスダクティブ設定で実装されており、学習中にソースのラベル付きデータとターゲットのラベルなしデータを併用することで、一般化性能と不確実性のキャリブレーションを向上させる。
• 本フレームワークは汎用的であり、モンテカルロドロップアウト以外のベイジアンニューラルネットワーク推論手法に対しても応用可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしターゲットデータを効果的に活用することで、特徴量分布のずれ下におけるベイジアンニューラルネットワークの不確実性キャリブレーションを改善できるか？
• RQ2 ターゲットデータをモデルの信頼度の仮のラベルとして用いることで、標準的なベイジアン手法と比較してより信頼性の高い不確実性推定が可能になるか？
• RQ3 顕著なドメインのずれが生じる実世界の医療応用、例えば多様な人口集団における前立腺がん死亡リスク予測において、本手法はどの程度の性能を示すか？
• RQ4 モデルの不確実性が、分布外データにおける実際の予測誤差とどの程度相関しているか？
• RQ5 本手法は、学習データに十分に含まれていない高リスクサブグループ（例：高PSA値を示す高齢の患者）における過信を低減できるか？

主な発見

• Transductive Dropoutは、特徴量分布のずれが生じるデータにおいて、標準的なモンテカルロドロップアウトと比較して不確実性のキャリブレーションを顕著に向上させ、過信を低減した。
• 本手法は、グローバルに多様な人口集団における前立腺がん死亡リスク予測において、ベースラインのベイジアンおよび頻度主義的手法を上回った。
• Transductive Dropoutで高い不確実性が予測された患者は、50％のリスク閾値を適用した場合、治療の適応として的確に特定される傾向が強く、信頼区間がより良い臨床意思決定を支援した。
• 本モデルは、学習データに十分に含まれていない高齢でPSA値が高い患者（サブグループ）に対して高い不確実性を示した。これはドメイン知識と整合しており、適切なキャリブレーションがなされていることを示している。
• 誤分類されたケースの多くは、平均年齢74歳の高齢者層と、平均PSA値28.6の高い値を示す群に集中しており、これらが分布外のポイントであることが確認された。これは、モデルがまさに必要な場所で不確実性を高めていることを裏付けている。
• ターゲットドメインからの追加ラベルなしデータを活用して、信頼度の推定を改善したが、ターゲットドメインからの追加ラベルデータは一切不要であった。これは、データが限られる状況においても実用的であることを示している。