[论文解读] Learning to Compare Longitudinal Images

Heejong Kim, Mert R. Sabuncu|arXiv (Cornell University)|Apr 5, 2023

Statistical Methods and Inference被引用 4

一句话总结

该论文提出PaIRNet，一种自监督与监督相结合的深度学习模型，通过对比纵向医学影像对来检测具有临床意义的时间变化，同时忽略对比度或方向变化等干扰因素。通过在时间顺序或真实变化标签上进行训练，PaIRNet无需预处理即可定位并量化临床相关的改变——如肿瘤生长或脑萎缩——在量化与可视化任务中均优于当前最先进方法。

ABSTRACT

Longitudinal studies, where a series of images from the same set of individuals are acquired at different time-points, represent a popular technique for studying and characterizing temporal dynamics in biomedical applications. The classical approach for longitudinal comparison involves normalizing for nuisance variations, such as image orientation or contrast differences, via pre-processing. Statistical analysis is, in turn, conducted to detect changes of interest, either at the individual or population level. This classical approach can suffer from pre-processing issues and limitations of the statistical modeling. For example, normalizing for nuisance variation might be hard in settings where there are a lot of idiosyncratic changes. In this paper, we present a simple machine learning-based approach that can alleviate these issues. In our approach, we train a deep learning model (called PaIRNet, for Pairwise Image Ranking Network) to compare pairs of longitudinal images, with or without supervision. In the self-supervised setup, for instance, the model is trained to temporally order the images, which requires learning to recognize time-irreversible changes. Our results from four datasets demonstrate that PaIRNet can be very effective in localizing and quantifying meaningful longitudinal changes while discounting nuisance variation. Our code is available at \url{https://github.com/heejong-kim/learning-to-compare-longitudinal-images.git}

研究动机与目标

• 解决医学影像中区分临床相关纵向变化与干扰变化的挑战。
• 开发一种模型，通过直接从数据中学习时间不可逆模式，绕过传统预处理步骤（如图像配准）。
• 实现在无需人工标注或复杂统计建模的前提下，同时支持个体水平变化检测与群体水平时间模式学习。
• 证明基于时间顺序的自监督学习可有效捕捉纵向变化，即使无真实标签亦可。
• 利用激活图生成可解释的纵向变化可视化，提升临床可解释性。

提出的方法

• PaIRNet采用孪生神经网络架构处理纵向图像对，并学习联合嵌入空间。
• 在自监督设置下，模型通过预测图像对的正确时间顺序进行训练，利用有意义变化具有时间不可逆性的假设。
• 在监督设置下，模型基于真实变化标签预测目标变量（如肿瘤体积差异）。
• 模型采用对比学习目标，促使时间顺序对的嵌入更接近，而反序对的嵌入更远离。
• 通过类激活映射（CAM）技术生成激活图，以可视化显著的纵向变化区域。
• 该方法无需图像配准或其他预处理步骤，而是依赖于跨受试者间共享的时间模式。

Figure 1: Pairwise Image Ranking Network (PaIRNet) consists of a feature extraction network, followed by a subtraction, and a ranking layer.

实验结果

研究问题

• RQ1 基于时间顺序的自监督学习方法是否能在无真实标签的情况下有效检测医学影像中的有意义纵向变化？
• RQ2 PaIRNet在多样化数据集上与现有监督与自监督方法相比，在纵向变化量化方面表现如何？
• RQ3 PaIRNet在个体水平上对变化的定位能力如何，同时抑制个体间变异与干扰变化？
• RQ4 自监督时间顺序任务在变化量化方面是否能达到与监督学习相当的性能？
• RQ5 PaIRNet的可视化是否能准确反映已知生物学变化（如脑萎缩或肿瘤生长），而无需依赖预处理？

主要发现

• 在所有四个数据集中，自监督PaIRNet的皮尔逊相关系数接近监督PaIRNet，证明时间顺序作为自监督信号的有效性。
• 在Starmen与Embryo数据集上，由于纵向变化大于个体间变异，自监督PaIRNet在变化量化上优于LSSL-CL与LVAE。
• 在脑衰老与肿瘤数据集中，由于个体间变异较高，监督PaIRNet显著优于CSR，表明其在复杂场景下的鲁棒性。
• PaIRNet的激活图成功突出了生物学相关区域（如衰老中的脑室或肿瘤生长），同时抑制了因运动或位置偏移引起的虚假变化。
• 自监督模型的定位性能与监督版本相当，凸显时间顺序作为有意义变化代理信号的实用性。
• PaIRNet的可视化能清晰区分真实纵向变化与伪影，而CSR常关注解剖结构外的无关区域。

Figure 2: Correlation between ground-truth change in target variable and predicted change. Each row shows a different dataset and each column shows a different method. The coefficients in bold text are the best models for each task.