[论文解读] Latent Space Analysis of VAE and Intro-VAE applied to 3-dimensional MR Brain Volumes of Multiple Sclerosis, Leukoencephalopathy, and Healthy Patients

Christopher Vogelsanger, Christian Federau|arXiv (Cornell University)|Jan 17, 2021

Brain Tumor Detection and Classification被引用 7

一句话总结

本研究应用三维变分自编码器（VAE）与Intro-VAE对多发性硬化症（MS）、白质脑病及健康受试者的FLAIR MRI影像的潜在空间进行分析。结果表明，IVA-256模型通过潜在空间的线性判别分析（LDA）在区分MS与其他疾病时达到92%的精确率与89%的召回率，揭示了尽管存在数据集偏差，仍能捕捉到疾病特异性特征。

ABSTRACT

Multiple Sclerosis (MS) and microvascular leukoencephalopathy are two distinct neurological conditions, the first caused by focal autoimmune inflammation in the central nervous system, the second caused by chronic white matter damage from atherosclerotic microvascular disease. Both conditions lead to signal anomalies on Fluid Attenuated Inversion Recovery (FLAIR) magnetic resonance (MR) images, which can be distinguished by an expert neuroradiologist, but which can look very similar to the untrained eye as well as in the early stage of both diseases. In this paper, we attempt to train a 3-dimensional deep neural network to learn the specific features of both diseases in an unsupervised manner. For this manner, in a first step we train a generative neural network to create artificial MR images of both conditions with approximate explicit density, using a mixed dataset of multiple sclerosis, leukoencephalopathy and healthy patients containing in total 5404 volumes of 3096 patients. In a second step, we distinguish features between the different diseases in the latent space of this network, and use them to classify new data.

研究动机与目标

• 探究无监督深度生成模型是否能够从多发性硬化症与白质脑病的3D FLAIR MRI影像中学习到疾病特异性特征。
• 比较VAE与Intro-VAE在混合数据集（包含健康、MS及白质脑病患者）上生成高质量3D脑部MRI图像的性能。
• 分析训练模型的解耦潜在空间，以确定是否能编码并提取出疾病特异性模式（尤其是MS相关模式）。
• 评估潜在空间表征是否能够实现对新数据在MS、白质脑病或健康类别中的高精度分类。
• 评估数据集中扫描参数偏差（如重复时间、回波时间、像素带宽）对模型学习与分类结果的影响。

提出的方法

• 在包含3096名受试者共5,404个体素的3D FLAIR MRI影像混合数据集上训练3D VAE与Intro-VAE模型，涵盖MS、白质脑病与健康对照三类诊断。
• 采用VAE的联合训练目标：最小化重构损失与近似后验分布和标准正态先验之间的KL散度。
• 应用Intro-VAE，其引入解耦正则化项以促进潜在空间中表示的解耦。
• 使用线性判别分析（LDA）进行潜在空间分析，以评估不同疾病类别之间的可分性。
• 系统性地改变潜在空间维度（如8、32、256），以评估其对图像质量与特征解耦的影响。
• 通过将除一个维度外的所有维度固定为零并改变该维度的值，可视化单个潜在维度的影响，观察生成图像的变化。

实验结果

研究问题

• RQ1 3D VAE与Intro-VAE模型能否从MS、白质脑病与健康脑部影像的混合数据集中学习并生成逼真的FLAIR MRI影像？
• RQ2 这些模型的潜在空间是否编码了可区分的特征，分别对应MS、白质脑病与健康脑部形态？
• RQ3 潜在空间的维度如何影响图像质量与疾病特异性特征的解耦程度？
• RQ4 将LDA应用于潜在空间是否能实现对新MRI影像在三类诊断中的高精度分类？
• RQ5 数据集中扫描参数的偏差（如重复时间、回波时间、像素带宽）在多大程度上影响模型学习真实疾病特异性特征的能力？

主要发现

• 无论潜在空间大小如何，Intro-VAE（IVA）模型生成的图像在细节表现上显著优于标准VAE，且更少模糊。
• 在VAE中，更高的潜在空间维度并未提升图像质量，其生成的重构图像与样本始终呈现模糊状态。
• IVA-256模型在图像质量方面表现最佳，并在潜在空间中展现出最清晰的疾病特异性特征解耦。
• 将LDA应用于IVA-256的潜在空间，在MS检测中实现了92%的精确率与89%的召回率，表明其在不同类别间具有极强的可分性。
• 潜在空间揭示了可解释的特征：第175维影响侧脑室形态，第76维影响图像的亮度/色彩方案。
• 尽管数据集中存在重复时间、回波时间与像素带宽的偏差（尤其偏向MS扫描），模型仍学习到了疾病特异性特征，但这些偏差对分类性能的具体影响尚不明确。