[论文解读] Learning Deep Representations of Medical Images using Siamese CNNs with Application to Content-Based Image Retrieval

Yu-An Chung, Wei‐Hung Weng|arXiv (Cornell University)|Nov 22, 2017

AI in cancer detection参考文献 26被引用 61

一句话总结

本论文提出一个深度 Siamese CNN，从二元图像对中学习固定长度的潜在表示用于基于内容的医学图像检索（CBMIR），性能与单一监督 CNN 相当，同时需要的标注更少。

ABSTRACT

Deep neural networks have been investigated in learning latent representations of medical images, yet most of the studies limit their approach in a single supervised convolutional neural network (CNN), which usually rely heavily on a large scale annotated dataset for training. To learn image representations with less supervision involved, we propose a deep Siamese CNN (SCNN) architecture that can be trained with only binary image pair information. We evaluated the learned image representations on a task of content-based medical image retrieval using a publicly available multiclass diabetic retinopathy fundus image dataset. The experimental results show that our proposed deep SCNN is comparable to the state-of-the-art single supervised CNN, and requires much less supervision for training.

研究动机与目标

• 在学习医学图像表示时，动机在于减少标注工作量。
• 提出一个端到端的深度 Siamese CNN (SCNN) 架构用于二元对监督。
• 在糖尿病性视网膜病变眼底图像上评估 SCNN 以进行基于内容的图像检索（CBMIR）。
• 将 SCNN 的表示与单一监督 CNN 基线（ResNet-50）进行比较。
• 分析二元对监督是否保留或提升检索质量和表示质量。

提出的方法

• 使用两个权重共享的完全相同的 ResNet-50 子网作为 SCNN。
• 使用二元对标签并通过对比损失进行训练，使相似图像更接近、不同图像拉开距离（损失 L = 1(L=0) 1/2 D^2 + 1(L=1) 1/2 max(0, margin - D)^2）。
• 从最后瓶颈层提取固定长度的潜在表示用于 CBMIR 任务。
• 对数据集进行归一化、调整为 224x224、并进行大量数据增广以处理类别不平衡。
• 与使用多类标签训练的单一监督 ResNet-50 基线进行比较。
• 使用 MAP 和 MRR 作为 CBMIR 指标进行评估。

实验结果

研究问题

• RQ1 一个从二元图像对学习的深度 Siamese CNN 能否产生适用于医学图像 CBMIR 的潜在表示？
• RQ2 SCNN 在 CBMIR 中的表现与用多类标签训练的单一 CNN（完全监督）相比如何？
• RQ3 二元对学习的表示是否提供比离散多类嵌入更具临床意义或滑动尺度的表示？
• RQ4 在糖尿病性视网膜病变眼底图像数据集上，使用 SCNN 表示对标准 CBMIR 指标（MAP、MRR）有何影响？

主要发现

层	MAP	MRR
CNN（倒数第三层）	0.6209	0.7608
CNN（倒数第二层）	0.6369	0.7691
CNN（softmax）	0.6673	0.7745
SCNN（最后一层）	0.6492	0.7737

• SCNN 在 CBMIR 方面的性能与单一监督 CNN 基线相当，尽管使用的是二元监督。
• SCNN 的最后一层表示在 MAP 上优于单一 CNN 的某些中间层，并且在 MRR 上达到同等或几乎相等的水平。
• 使用 SCNN 最后一层表示的 CBMIR 的 MAP = 0.6492，MRR = 0.7737，而 CNN（softmax）MAP = 0.6673，MRR = 0.7745。
• 二元对监督产生滑动尺度的表示，据认为比严格的多类阈值更符合糖尿病性视网膜病变的渐进性。
• t-SNE 可视化显示从健康到重度 DR 的表示存在清晰但逐步的过渡，指示临床有意义的嵌入。