[论文解读] Image Classification with Rejection using Contextual Information

Filipe Condessa, José M. Bioucas‐Dias+3 more|arXiv (Cornell University)|Sep 3, 2015

Advanced Image and Video Retrieval Techniques参考文献 14被引用 3

一句话总结

本文提出了一种新颖的图像分类框架，通过基于图的能量最小化模型将拒绝机制与多尺度上下文信息相结合。通过将多项式逻辑回归与空间及多级相似性约束相结合，该方法在提升分类准确率的同时，能智能地拒绝不确定或误分类的区域，尤其在具有未知类别、噪声大、样本少或类别不平衡的组织病理学数据集中表现优异。

ABSTRACT

We introduce a new supervised algorithm for image classification with rejection using multiscale contextual information. Rejection is desired in image-classification applications that require a robust classifier but not the classification of the entire image. The proposed algorithm combines local and multiscale contextual information with rejection, improving the classification performance. As a probabilistic model for classification, we adopt a multinomial logistic regression. The concept of rejection with contextual information is implemented by modeling the classification problem as an energy minimization problem over a graph representing local and multiscale similarities of the image. The rejection is introduced through an energy data term associated with the classification risk and the contextual information through an energy smoothness term associated with the local and multiscale similarities within the image. We illustrate the proposed method on the classification of images of H&E-stained teratoma tissues.

研究动机与目标

• 解决在训练数据量小、类别不平衡、存在噪声或不完整时，组织病理学图像分类的鲁棒性挑战。
• 通过将空间和多尺度上下文信息融入拒绝感知框架，提升分类准确率。
• 通过允许拒绝低置信度预测，减少对未知或模糊区域的误分类。
• 开发一种统一模型，将拒绝机制内嵌于分类过程之中，而非作为后处理规则应用。
• 在H&E染色的畸胎瘤组织图像上评估该方法，其中像素级真实标签不可用，且类别可分性较低。

提出的方法

• 该方法将图像分类建模为基于图像块之间局部及多尺度相似性的图结构上的能量最小化问题。
• 使用多项式逻辑回归模型作为概率分类器，进行初始类别预测。
• 通过能量函数中的数据项引入拒绝机制，该数据项对高分类风险进行惩罚，而平滑项则基于上下文相似性强制一致性。
• 能量函数结合了分类风险（通过后验概率）和空间一致性（通过图像块相似性），以指导分类与拒绝决策。
• 拒绝阈值通过优化分类质量确定，平衡准确率与拒绝率。
• 该框架使用随机选取的0.5%图像块子集进行训练与评估，正则化参数λ = 5。

实验结果

研究问题

• RQ1 将上下文信息与拒绝机制结合，是否能提升在训练数据有限或存在噪声的图像分类任务中的分类准确率？
• RQ2 空间与多尺度相似性的整合如何影响拒绝感知分类器的性能？
• RQ3 与仅使用拒绝或仅使用上下文的方法相比，所提方法在分类质量与非拒绝准确率方面是否表现更优？
• RQ4 该方法在多大程度上减少了组织病理学图像中对未知或模糊组织区域的误分类？
• RQ5 性能在不同图像复杂度与类别分布下如何变化？

主要发现

• 对于图像1和2，所提方法的分类质量优于仅使用上下文的方法，表明其能有效拒绝误分类区域，同时保留正确分类结果。
• 对于图像3，由于仅使用上下文的准确率已较高，该方法拒绝了更大比例的正确分类样本，导致分类质量下降，凸显了在复杂情况下的权衡。
• 所提方法的性能与使用最优拒绝比例的仅拒绝分类方法相当，表明上下文信息可替代人工调整阈值。
• 在图像1中，通过结合拒绝与上下文信息，该方法显著提升了分类质量与非拒绝准确率。
• 在图像2中，类别边界被有效拒绝，从而实现了高整体与类别特定的拒绝质量。
• 在图像3中，噪声训练数据导致对类别边界的过度拒绝，使分类质量低于基线的仅上下文模型。