[论文解读] Addressing Variance Shrinkage in Variational Autoencoders using Quantile Regression

Haleh Akrami, Anand A. Joshi+2 more|arXiv (Cornell University)|Oct 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 5

一句话总结

该论文提出QR-VAE，一种使用分位数回归解决变分自编码器中常见方差收缩问题的变分自编码器，该问题在同时优化均值和方差时出现。通过估计两个分位数（例如0.025和0.975），在高斯假设下推导出均值和标准差，从而实现有原则的、具备不确定性感知能力的异常检测，性能优于标准VAE和Comb-VAE，在脑部病变检测任务中AUC达到0.94，且使用了FDR校正的阈值。

ABSTRACT

Estimation of uncertainty in deep learning models is of vital importance, especially in medical imaging, where reliance on inference without taking into account uncertainty could lead to misdiagnosis. Recently, the probabilistic Variational AutoEncoder (VAE) has become a popular model for anomaly detection in applications such as lesion detection in medical images. The VAE is a generative graphical model that is used to learn the data distribution from samples and then generate new samples from this distribution. By training on normal samples, the VAE can be used to detect inputs that deviate from this learned distribution. The VAE models the output as a conditionally independent Gaussian characterized by means and variances for each output dimension. VAEs can therefore use reconstruction probability instead of reconstruction error for anomaly detection. Unfortunately, joint optimization of both mean and variance in the VAE leads to the well-known problem of shrinkage or underestimation of variance. We describe an alternative approach that avoids this variance shrinkage problem by using quantile regression. Using estimated quantiles to compute mean and variance under the Gaussian assumption, we compute reconstruction probability as a principled approach to outlier or anomaly detection. Results on simulated and Fashion MNIST data demonstrate the effectiveness of our approach. We also show how our approach can be used for principled heterogeneous thresholding for lesion detection in brain images.

研究动机与目标

• 解决VAE中众所周知的方差收缩问题，即在同时优化均值和方差时导致方差被低估。
• 提出一种有原则的、具备不确定性感知能力的异常检测方法，使用重建概率而非重建误差。
• 在无需标注验证数据的情况下，实现医学影像中病变检测的无监督、异质性阈值设定。
• 通过分位数回归改进VAE中的方差估计，避免由似然最大化带来的不稳定性与过拟合。
• 证明QR-VAE在合成数据、Fashion-MNIST以及ISLES脑部影像数据集上的异常检测性能优于标准VAE和Comb-VAE。

提出的方法

• 使用分位数回归估计两个分位数（例如Q₀.₀₂₅和Q₀.₉₇₅），以表示预测分布的下界和上界。
• 在高斯假设下，将估计的分位数映射为输出分布的均值和标准差。
• 利用推导出的均值和方差计算重建概率，从而实现统计上有原则的异常检测。
• 对从z得分推导出的p值应用错误发现率（FDR）校正，以控制像素级阈值设定中的多重比较问题。
• 利用所得的FDR校正后的p值设定异常检测阈值，避免依赖验证数据。
• 端到端训练QR-VAE以直接预测分位数，替代标准VAE中的方差头。

实验结果

研究问题

• RQ1 分位数回归能否用于改进VAE中的方差估计，并缓解方差收缩问题？
• RQ2 与标准VAE相比，QR-VAE方法是否能提供更准确、更可靠的重建概率用于异常检测？
• RQ3 QR-VAE能否在无需标注验证数据的情况下，实现无监督、有原则的脑部MRI病变检测阈值设定？
• RQ4 与Comb-VAE等替代方法相比，QR-VAE在异常检测性能和实现复杂度方面表现如何？
• RQ5 FDR校正在高维医学影像中的像素级异常检测中在多大程度上提升了结果的可靠性？

主要发现

• QR-VAE在ISLES脑部病变检测数据集上达到0.94的AUC，显著优于标准VAE（AUC为0.56）。
• VAE在大脑大部分区域低估了方差，即使经过FDR校正后仍产生大量显著的p值，导致高假阳性率。
• QR-VAE生成的病变检测结果与专家手动勾画的金标准高度吻合，表现出更高的空间准确性。
• 利用QR-VAE的FDR校正p值，可在无需依赖标注验证数据进行阈值选择的情况下，将假阳性率控制在5%。
• QR-VAE的实现比Comb-VAE更简单，同时在所有测试数据集上均取得了更优的性能。
• 该方法通过直接建模预测分位数并推导概率重建评分，实现了有原则的、具备不确定性感知能力的异常检测。