[論文レビュー] Addressing Variance Shrinkage in Variational Autoencoders using Quantile Regression

Haleh Akrami, Anand A. Joshi+2 more|arXiv (Cornell University)|Oct 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 5

ひとこと要約

本論文では、平均と分散の同時最適化に伴う分散の縮小問題——VAEで一般的に見られる現象——を解消するために、分位回帰を用いたQR-VAEを提案する。この手法は、ガウス分布を仮定したもとで、2つの分位点（例：0.025 と 0.975）を推定し、それらから平均と標準偏差を導出することで、分散の推定を改善する。この方法により、原理的で不確実性を考慮した異常検出が可能となり、標準VAEやComb-VAEを上回る性能を発揮し、FDR補正済みの閾値を用いた脳画像の病変検出においてAUC 0.94を達成した。

ABSTRACT

Estimation of uncertainty in deep learning models is of vital importance, especially in medical imaging, where reliance on inference without taking into account uncertainty could lead to misdiagnosis. Recently, the probabilistic Variational AutoEncoder (VAE) has become a popular model for anomaly detection in applications such as lesion detection in medical images. The VAE is a generative graphical model that is used to learn the data distribution from samples and then generate new samples from this distribution. By training on normal samples, the VAE can be used to detect inputs that deviate from this learned distribution. The VAE models the output as a conditionally independent Gaussian characterized by means and variances for each output dimension. VAEs can therefore use reconstruction probability instead of reconstruction error for anomaly detection. Unfortunately, joint optimization of both mean and variance in the VAE leads to the well-known problem of shrinkage or underestimation of variance. We describe an alternative approach that avoids this variance shrinkage problem by using quantile regression. Using estimated quantiles to compute mean and variance under the Gaussian assumption, we compute reconstruction probability as a principled approach to outlier or anomaly detection. Results on simulated and Fashion MNIST data demonstrate the effectiveness of our approach. We also show how our approach can be used for principled heterogeneous thresholding for lesion detection in brain images.

研究の動機と目的

• VAEにおけるよく知られた分散の縮小問題に対処すること。これは、平均と分散の同時最適化によって分散が過小評価される現象である。
• 再構成誤差ではなく再構成確率を用いることで、原理的で不確実性を考慮した異常検出のアプローチを開発すること。
• ラベル付き検証データを必要とせず、医療画像における病変検出に向けた非教師ありで多様な閾値設定を可能にすること。
• 尤度最大化による不安定性と過学習を回避するため、分位回帰を用いてVAEにおける分散推定を改善すること。
• QR-VAEが合成データ、Fashion-MNIST、およびISLES脳画像データセットにおいて、標準VAEやComb-VAEを上回る異常検出性能を示すことを実証すること。

提案手法

• 分位回帰を用いて、予測分布の下限と上限を表す2つの分位点（例：Q₀.₀₂₅ と Q₀.₉₇₅）を推定する。
• 得られた分位点をもとに、ガウス分布を仮定して出力分布の平均と標準偏差を導出する。
• 導出された平均と分散を用いて再構成確率を計算し、統計的に原理的である異常検出を可能にする。
• ピxls単位の閾値設定における多重比較を制御するため、zスコアから導出されたp値にFalse Discovery Rate（FDR）補正を適用する。
• 得られたFDR補正済みのp値を用いて、検証データに依存しない異常検出の閾値を設定する。
• QR-VAEをエンドツーエンドで訓練し、VAEにおける標準的な分散ヘッドの代わりに分位点を直接予測する。

実験結果

リサーチクエスチョン

• RQ1 分位回帰を用いることで、VAEにおける分散推定を改善し、分散の縮小問題を軽減できるか？
• RQ2 QR-VAEアプローチは、標準VAEと比較して、異常検出の再構成確率についてより正確かつ信頼性の高いものとなるか？
• RQ3 QR-VAEは、ラベル付き検証データを必要とせず、脳MRIにおける非教師ありで原理的な閾値設定による病変検出を可能にするか？
• RQ4 QR-VAEは、Comb-VAEなどの代替手法と比較して、異常検出性能と実装の複雑さの面で優れているか？
• RQ5 FDR補正は、高次元の医療画像におけるピxls単位の異常検出の信頼性をどの程度向上させるか？

主な発見

• QR-VAEはISLES脳病変検出データセットでAUC 0.94を達成した。これは、標準VAEがAUC 0.56を記録したのと比べて顕著に優れている。
• 標準VAEでは、脳の大部分で分散が過小評価されており、FDR補正後でさえも広範囲にわたり有意なp値が得られ、高い偽陽性率を示した。
• QR-VAEは、熟練医師による手動セグメンテーションによる正解と密接に一致する病変検出結果を生成し、空間的な正確性が向上したことを示した。
• QR-VAEから得られたFDR補正済みp値を用いることで、ラベル付き検証データを用意せずとも5%の偽陽性率を達成できた。
• QR-VAEはComb-VAEよりも実装が簡単でありながら、全テストデータセットで優れた性能を発揮した。
• 本手法により、予測分位点を直接モデル化し、確率的再構成スコアを導出することで、原理的で不確実性を考慮した異常検出が可能になった。