[论文解读] Unsupervised Category Discovery via Looped Deep Pseudo-Task Optimization Using a Large Scale Radiology Image Database

Xiaosong Wang, Le Lü+5 more|arXiv (Cornell University)|Mar 25, 2016

Radiomics and Machine Learning in Medical Imaging参考文献 51被引用 11

一句话总结

本文提出循环深度伪任务优化（LDPO），一种自监督框架，通过迭代优化图像聚类与深度卷积神经网络（CNN）特征学习，实现大规模放射科图像中无监督类别发现。通过在聚类生成的伪标签与CNN微调之间交替进行，LDPO生成视觉一致且具有临床意义的类别——在270个类别上达到81.09%的Top-1准确率，显著优于先前方法。

ABSTRACT

Obtaining semantic labels on a large scale radiology image database (215,786 key images from 61,845 unique patients) is a prerequisite yet bottleneck to train highly effective deep convolutional neural network (CNN) models for image recognition. Nevertheless, conventional methods for collecting image labels (e.g., Google search followed by crowd-sourcing) are not applicable due to the formidable difficulties of medical annotation tasks for those who are not clinically trained. This type of image labeling task remains non-trivial even for radiologists due to uncertainty and possible drastic inter-observer variation or inconsistency. In this paper, we present a looped deep pseudo-task optimization procedure for automatic category discovery of visually coherent and clinically semantic (concept) clusters. Our system can be initialized by domain-specific (CNN trained on radiology images and text report derived labels) or generic (ImageNet based) CNN models. Afterwards, a sequence of pseudo-tasks are exploited by the looped deep image feature clustering (to refine image labels) and deep CNN training/classification using new labels (to obtain more task representative deep features). Our method is conceptually simple and based on the hypothesized "convergence" of better labels leading to better trained CNN models which in turn feed more effective deep image features to facilitate more meaningful clustering/labels. We have empirically validated the convergence and demonstrated promising quantitative and qualitative results. Category labels of significantly higher quality than those in previous work are discovered. This allows for further investigation of the hierarchical semantic nature of the given large-scale radiology image database.

研究动机与目标

• 为解决放射科图像数据库中缺乏大规模、高质量语义标签的问题，该问题阻碍了深度学习的有效应用。
• 克服先前研究中仅依赖放射科报告进行聚类所导致的局限性（如类别不平衡、视觉一致性差）。
• 开发一种自监督方法，自动发现视觉一致且具有临床相关性的图像类别，无需人工标注。
• 验证通过迭代优化伪标签与深度特征，可实现更准确、更具意义的类别发现并趋于收敛。

提出的方法

• LDPO采用循环优化流程，交替进行基于伪标签的深度CNN微调与基于更新后深度特征的图像聚类。
• 该方法以领域特定（放射科预训练）或通用（ImageNet预训练）CNN初始化，提取初始深度特征。
• 通过在深度特征上应用k-means聚类，生成下一轮训练迭代的伪标签。
• 该过程通过分类与聚类之间的反馈，迭代优化CNN的分类能力与图像聚类质量。
• 框架基于假设：更优的标签可带来更优的特征，进而产生更优的聚类，形成收敛循环。
• 利用CNN混淆矩阵上的亲和传播算法构建分层类别树，实现发现聚类的语义组织。

实验结果

研究问题

• RQ1 迭代伪任务优化能否提升大规模放射科图像中无监督类别发现的质量？
• RQ2 伪标签与深度特征的循环优化是否能收敛至更准确、视觉更一致的聚类？
• RQ3 与仅依赖文本的聚类方法相比，LDPO在视觉一致性和分类性能方面表现如何？
• RQ4 LDPO能否发现比以往方法更多具有更高语义与临床相关性的有意义类别？

主要发现

• LDPO在270个发现的图像类别上，使用AlexNet-FC7-Topic，达到81.09%的Top-1准确率与94.12%的Top-5准确率，显著优于先前仅依赖文本方法在80个类别上达到的60.72% Top-1准确率。
• AlexNet-FC7-ImageNet变体在275个类别上实现80.99%的Top-1准确率与95.47%的Top-5准确率，表明在更多类别上仍具优越性能。
• 放射科医生的主观评估更偏好AlexNet-FC7-Topic（270类）与AlexNet-FC7-ImageNet（275类）模型，证实所发现聚类具有临床相关性。
• 在Texture-25数据集上，LDPO的纯度从53.9%提升至66.1%（六轮迭代后），证实循环优化过程具有收敛性。
• 该方法生成了具有（270, 64, 15, 4, 1）层级的分层类别树，验证了发现聚类的语义结构。
• 该框架无需手工设计特征或无序编码方案（如FV、VLAD），从而保留了图像的全局布局信息。