[论文解读] Deep Relation Learning for Regression and Its Application to Brain Age Estimation

Sheng He, Yanfang Feng+2 more|arXiv (Cornell University)|Apr 13, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出了一种用于回归的深度关系学习方法，通过利用成对脑部MRI图像之间的四种非线性关系——累积、相对、最大和最小——来提升脑龄估计的准确性。采用孪生CNN-Transformer架构，该方法在包含6,049名受试者的全生命周期数据集上实现了2.38年的最先进平均绝对误差（MAE）。

ABSTRACT

Most deep learning models for temporal regression directly output the estimation based on single input images, ignoring the relationships between different images. In this paper, we propose deep relation learning for regression, aiming to learn different relations between a pair of input images. Four non-linear relations are considered: "cumulative relation", "relative relation", "maximal relation" and "minimal relation". These four relations are learned simultaneously from one deep neural network which has two parts: feature extraction and relation regression. We use an efficient convolutional neural network to extract deep features from the pair of input images and apply a Transformer for relation learning. The proposed method is evaluated on a merged dataset with 6,049 subjects with ages of 0-97 years using 5-fold cross-validation for the task of brain age estimation. The experimental results have shown that the proposed method achieved a mean absolute error (MAE) of 2.38 years, which is lower than the MAEs of 8 other state-of-the-art algorithms with statistical significance (p$<$0.05) in paired T-test (two-side).

研究动机与目标

• 解决单图像回归模型在脑龄估计中忽略图像间关系的局限性。
• 通过学习成对脑部MRI图像之间的多种非线性关系，而非依赖单图像预测，来提高回归准确性。
• 通过允许模型从相同图像对（x,x）中预测年龄，实现脑龄估计的自反性，从而增强鲁棒性和一致性。
• 探索关系学习在偏差校正和跨队列比较中的潜力，特别是在年龄分布不平衡的情况下。
• 展示该方法在不同输入配置（包括相同图像对和不同图像对）下的通用性和一致性。

提出的方法

• 该框架包含两个阶段：使用共享或独立的孪生CNN主干网络进行特征提取，以及通过Transformer编码器进行关系回归。
• 同时学习四种非线性关系：累积（τx + τy）、相对（τx − τy）、最大（max(τx, τy)）和最小（min(τx, τy)）年龄关系。
• CNN从成对输入图像（x,y）中提取深层特征，随后进行分词并输入标准Transformer以进行联合关系回归。
• 模型通过多任务损失端到端训练，同时预测所有四种关系，使网络能够学习复杂的非线性交互。
• 该方法支持基于参考的估计（使用另一张图像作为参考）和基于自身的估计（将同一张图像使用两次），确保自反性。
• 该架构在包含6,049名受试者（年龄范围0–97岁）的合并数据集上采用五折交叉验证进行评估。

实验结果

研究问题

• RQ1 与单图像回归相比，学习成对脑部MRI图像之间的多种非线性关系是否能提高脑龄估计的准确性？
• RQ2 当输入为相同图像（x,x）与不同图像（x,y）时，所提出的方法是否保持一致的性能表现，从而证明其自反性？
• RQ3 不同类型的关联关系（累积、相对、最大、最小）如何贡献于模型性能，哪一种关系能提供最佳预测准确性？
• RQ4 联合学习多种关系是否能降低平均绝对误差（MAE），相比单独学习或仅使用单一关系？
• RQ5 该模型在全生命周期范围内的表现如何，特别是在训练样本较少的年龄区间？是否能缓解数据不平衡带来的误差？

主要发现

• 所提出的深度关系学习方法在包含6,049名受试者的全生命周期数据集上实现了2.38年的平均绝对误差（MAE），显著优于八种最先进模型（配对t检验p < 0.05）。
• 当使用最大关系（r₃ = max(τₓ, τᵧ)）和最小关系（r₄ = min(τₓ, τᵧ)）时性能最高，表明非线性关系比线性关系更具信息量。
• 联合学习全部四种关系的MAE略低于单一或成对关系学习（2.38年），证明了多关系监督的优势。
• 无论输入对为相同图像（x,x）还是不同图像（x≠y），该方法均表现出一致的性能，证实了其自反性和鲁棒性。
• 该模型实现了87.40%的一致性相关系数（CS，α=5年）和0.988的皮尔逊相关系数，表明与实际年龄具有高度一致性。
• 该方法在多样化输入配置下表现出良好的泛化能力，并展现出在偏差校正和跨队列比较方面的潜力，尤其在年龄分布不平衡的情况下。