[论文解读] GLOWin: A Flow-based Invertible Generative Framework for Learning Disentangled Feature Representations in Medical Images

Aadhithya Sankar, Matthias Keicher+5 more|arXiv (Cornell University)|Mar 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 8

一句话总结

GLOWin 是一种基于流的端到端可逆生成模型，通过将潜在空间分解为有意义的组成部分（如异常存在性、切片索引和残差特征），利用改进的因子损失，在医学图像中学习解耦的特征表示。该方法在下游解耦任务中实现了最先进性能，同时保持了可逆性，并生成了无模糊的高保真图像。

ABSTRACT

Disentangled representations can be useful in many downstream tasks, help to make deep learning models more interpretable, and allow for control over features of synthetically generated images that can be useful in training other models that require a large number of labelled or unlabelled data. Recently, flow-based generative models have been proposed to generate realistic images by directly modeling the data distribution with invertible functions. In this work, we propose a new flow-based generative model framework, named GLOWin, that is end-to-end invertible and able to learn disentangled representations. Feature disentanglement is achieved by factorizing the latent space into components such that each component learns the representation for one generative factor. Comprehensive experiments have been conducted to evaluate the proposed method on a public brain tumor MR dataset. Quantitative and qualitative results suggest that the proposed method is effective in disentangling the features from complex medical images.

研究动机与目标

• 开发一种基于流的生成模型，无需依赖预训练编码器即可在医学图像中学习解耦表征。
• 通过解耦的潜在因子，实现对生成图像中特定语义因子（如肿瘤存在性、解剖切片位置）的控制。
• 评估解耦表征在下游任务（如异常分类和回归）中的鲁棒性和实用性。
• 提供一种端到端可逆框架，避免 VAE 基生成模型常见的模糊问题。

提出的方法

• 通过使用可逆 1×1 卷积和仿射耦合层的多尺度架构扩展 Glow 模型，实现高效的归一化流建模。
• 将 IIN 中的因子损失适配到基于流的框架中，用于处理空间嵌入，实现在无需预训练特征的情况下对潜在因子进行解耦。
• 将潜在空间分解为三个分量：异常（肿瘤存在性）、切片索引（解剖位置）和残差（所有其他语义内容）。
• 在原始医学图像上端到端训练模型，使用共享语义概念的图像对，无需显式标签。
• 在训练过程中使用均匀噪声增强，以提高鲁棒性和泛化能力。
• 采用联合损失函数，结合切片索引回归和因子特定重建，以在最终潜在尺度上强制实现解耦。

实验结果

研究问题

• RQ1 基于流的生成模型是否能够在不依赖预训练编码器或显式标签的情况下，在医学图像中学习到解耦表征？
• RQ2 所提出的因子损失适配在解耦如肿瘤存在性和解剖切片位置等有意义语义因子方面的有效性如何？
• RQ3 解耦表征在异常分类和切片索引回归等下游任务中的性能提升程度如何？
• RQ4 所学习的表征对医学成像中的输入噪声和分布偏移的鲁棒性如何？

主要发现

• 尽管使用更小的潜在表示，GLOWin 在下游异常分类和切片索引回归任务中的性能与 Glow 和 IIN 相当或更优。
• 模型在不同噪声水平下均保持较高的 AUC 和准确率，表明其对输入噪声的鲁棒性优于 IIN 基线。
• 定性结果表明，真实样本之间的插值产生合理的过渡，表明语义因子实现了有意义的解耦。
• 在噪声图像重建方面，GLOWin 比 IIN 更好地保留了结构细节，尤其在高噪声水平下表现更优。
• 解耦的潜在因子支持可控图像生成——例如，可将肿瘤引入健康切片——展示了其在数据增强方面的实际应用价值。
• 该模型成功学习到切片索引因子，其可作为共注册脑图像中解剖形状和位置的代理。