[论文解读] Forward-Forward Contrastive Learning

Md Atik Ahamed, Jin Chen+1 more|arXiv (Cornell University)|May 4, 2023

COVID-19 diagnosis using AIMedicine被引用 3

一句话总结

该论文提出了一种新型多阶段预训练方法——前向-前向对比学习（FFCL），该方法在每个网络层局部应用监督对比学习，并在最终表征上全局应用对比学习，其原理基于前向-前向算法，且在预训练过程中不使用反向传播。FFCL在胸部X光片的肺炎分类任务中，相较于ImageNet预训练的ResNet-18，准确率提高了3.69%，展现出更优的泛化能力和细粒度特征学习能力。

ABSTRACT

Medical image classification is one of the most important tasks for computer-aided diagnosis. Deep learning models, particularly convolutional neural networks, have been successfully used for disease classification from medical images, facilitated by automated feature learning. However, the diverse imaging modalities and clinical pathology make it challenging to construct generalized and robust classifications. Towards improving the model performance, we propose a novel pretraining approach, namely Forward Forward Contrastive Learning (FFCL), which leverages the Forward-Forward Algorithm in a contrastive learning framework--both locally and globally. Our experimental results on the chest X-ray dataset indicate that the proposed FFCL achieves superior performance (3.69% accuracy over ImageNet pretrained ResNet-18) over existing pretraining models in the pneumonia classification task. Moreover, extensive ablation experiments support the particular local and global contrastive pretraining design in FFCL.

研究动机与目标

• 为解决标准反向传播和ImageNet预训练在医学图像分类中的局限性，特别是在多样化成像模态和细粒度病理学方面的挑战。
• 通过在预训练阶段不使用梯度反向传播，利用前向-前向算法的原理，提升医学影像中的模型泛化能力与特征学习能力。
• 开发一种完全自动化、无需阈值调节的预训练策略，以增强局部（逐层）和全局（最终嵌入）层次的表征学习。
• 证明将对比学习与前向-前向机制结合，可提升医学图像分类任务的性能，尤其在低样本或领域偏移设置下表现更优。

提出的方法

• FFCL执行两阶段预训练：首先，在每个残差块中对ReLU激活后的特征图应用局部对比学习，损失函数为余弦嵌入损失。
• 其次，对最终的嵌入空间应用全局对比学习，同样使用余弦嵌入损失，比较具有相同或不同标签的图像对。
• 局部与全局对比损失通过嵌入向量之间的归一化点积计算，正样本对与负样本对均采用基于边距的监督机制。
• 该框架采用改进版的前向-前向算法，预训练阶段避免梯度计算，并消除了手动阈值调优的需要。
• 预训练完成后，模型进入标准的反向传播微调阶段，用于下游分类任务，损失函数为二元交叉熵损失。
• 该方法完全自动化，各阶段间无需超参数调优，且可扩展至端到端训练。

实验结果

研究问题

• RQ1 结合局部与全局对比学习的多阶段预训练策略是否能提升医学图像分类中的泛化能力？
• RQ2 用受前向-前向启发的对比学习预训练机制替代标准反向传播，是否能带来医学图像中更优的特征学习？
• RQ3 局部与全局预训练的顺序如何影响肺炎分类任务中的模型性能？
• RQ4 所提出的方法是否能在低资源医学影像场景中超越ImageNet预训练和最先进方法？

主要发现

• 在使用随机初始化权重和ResNet-18架构的情况下，FFCL在儿科胸部X光片数据集上达到80.45%的准确率，比ImageNet预训练的RBP基线高出3.69%。
• 在随机初始化条件下，FFCL的AUC达到93.33%，超过RBP基线（89.15%）和最先进方法（AUC 75–78.4%）。
• 消融实验表明，局部与全局预训练的结合至关重要，仅使用局部或仅使用全局对比学习的模型性能均较差。
• 即使采用ImageNet初始化，FFCL在随机初始化设置下仍达到72.28%的准确率，优于RBP基线（76.76%）的性能。
• 仅采用局部预训练策略且随机初始化时，准确率为62.50%，表明全局上下文对性能至关重要。
• 在ResNet-34架构上，FFCL在随机初始化下达到78.85%的准确率，略高于RBP基线（78.53%），证实其在不同架构上均具有一致的性能增益。