[论文解读] Learn like a Pathologist: Curriculum Learning by Annotator Agreement for Histopathology Image Classification

Jerry Wei, Arief A. Suriawinata+11 more|arXiv (Cornell University)|Sep 29, 2020

AI in cancer detection参考文献 40被引用 7

一句话总结

本文提出了一种用于组织病理学图像分类的课程学习方法，以标注者间一致性作为样本难度的代理指标，逐步训练模型处理越来越复杂的图像。在结直肠息肉分类任务中，该方法将AUC从基线的83.7%提升至88.2%，优于平均病理学家的表现。

ABSTRACT

Applying curriculum learning requires both a range of difficulty in data and a method for determining the difficulty of examples. In many tasks, however, satisfying these requirements can be a formidable challenge. In this paper, we contend that histopathology image classification is a compelling use case for curriculum learning. Based on the nature of histopathology images, a range of difficulty inherently exists among examples, and, since medical datasets are often labeled by multiple annotators, annotator agreement can be used as a natural proxy for the difficulty of a given example. Hence, we propose a simple curriculum learning method that trains on progressively-harder images as determined by annotator agreement. We evaluate our hypothesis on the challenging and clinically-important task of colorectal polyp classification. Whereas vanilla training achieves an AUC of 83.7% for this task, a model trained with our proposed curriculum learning approach achieves an AUC of 88.2%, an improvement of 4.5%. Our work aims to inspire researchers to think more creatively and rigorously when choosing contexts for applying curriculum learning.

研究动机与目标

• 为解决在神经网络训练中确定合适难度排序的挑战，尤其是在医学影像中此类排序往往不明确的情况下。
• 探讨由于疾病自然进展和多标注者标注，组织病理学图像分类是否天然适合课程学习。
• 提出并评估一种简单、可实现的课程学习方法，利用标注者一致性作为难度代理指标，避免复杂的模型架构修改。
• 证明该方法在具有临床相关性且诊断具有挑战性的任务——结直肠息肉分类中，可提升模型性能。

提出的方法

• 该方法根据标注者间一致性对组织病理学图像进行排序，将较高一致性视为较容易的样本，较低一致性视为较难的样本。
• 训练分阶段进行，从高标注者一致性图像（最简单）开始，逐步在后续阶段加入一致性较低的图像（更难）。
• 该方法无需修改模型架构，仅依赖于现有的标注者标签，因此可轻松部署于具有多个病理学家标注的数据集上。
• 作者将该方法与两种先前的难度评分方法进行比较：基于置信度的方法和自定义的难易样本划分方法，以AUC为主要评估指标。
• 采用基于七位病理学家的四档标注者一致性分类来定义课程阶段，性能在保留的测试集上进行评估。
• 该方法在包含718张图像的结直肠息肉分类数据集上进行评估，采用ResNet-50主干网络和标准训练协议。

实验结果

研究问题

• RQ1 组织病理学图像标注中的标注者间一致性能否作为课程学习中样本难度的可靠代理？
• RQ2 基于标注者一致性的课程学习是否在具有挑战性的组织病理学图像分类任务中优于标准训练？
• RQ3 与先前提出的难度评分方法相比，该方法在性能提升方面表现如何？
• RQ4 课程学习带来的性能提升是否具有临床意义，特别是与病理学家水平表现相比？
• RQ5 标注者一致性等级的数量是否影响性能提升的幅度？

主要发现

• 所提出的课程学习方法在结直肠息肉分类任务中实现了88.2%的AUC，较基线模型的83.7%提升了4.5个百分点。
• 该方法在相同测试集上的Cohen’s kappa值优于平均病理学家标注者，表明其泛化能力和一致性更优。
• 采用四档标注者一致性划分带来了4.5%的AUC提升，而采用两档粗粒度一致性方案仅实现1.5%的提升，表明更细粒度的难度排序可进一步提升性能。
• 课程学习带来的性能提升转化为具有临床意义的性能增益，表明采用该方法训练的模型可支持诊断决策。
• 结果表明，由于疾病自然进展和丰富的多标注者数据，组织病理学图像分类是课程学习的强有力候选场景。
• 该方法简单易行，无需模型修改，且可利用现成的标注者一致性数据，因此可广泛应用于类似医学影像任务。