[论文解读] Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology

Hiroki Tokunaga, Yuki Teramoto+2 more|arXiv (Cornell University)|Apr 12, 2019

AI in cancer detection参考文献 37被引用 7

一句话总结

该论文提出了一种自适应加权多视场CNN（AWMF-CNN）新型语义分割框架，通过可学习的加权机制自适应融合多个放大倍数（5x、10x、20x）的特征，以提升肺腺癌亚型分割性能。通过端到端联合训练专家网络与融合网络，模型实现了专家之间的互补专业化，相较于单放大倍数基线，在四类亚型分割任务中实现了5.36%的mIoU提升，达到最先进性能。

ABSTRACT

Automated digital histopathology image segmentation is an important task to help pathologists diagnose tumors and cancer subtypes. For pathological diagnosis of cancer subtypes, pathologists usually change the magnification of whole-slide images (WSI) viewers. A key assumption is that the importance of the magnifications depends on the characteristics of the input image, such as cancer subtypes. In this paper, we propose a novel semantic segmentation method, called Adaptive-Weighting-Multi-Field-of-View-CNN (AWMF-CNN), that can adaptively use image features from images with different magnifications to segment multiple cancer subtype regions in the input image. The proposed method aggregates several expert CNNs for images of different magnifications by adaptively changing the weight of each expert depending on the input image. It leverages information in the images with different magnifications that might be useful for identifying the subtypes. It outperformed other state-of-the-art methods in experiments.

研究动机与目标

• 为解决在全切片图像（WSIs）中分割多种肺腺癌亚型的挑战，其中不同放大倍数提供互补的诊断线索。
• 克服固定视场patch方法的局限性，此类方法在上下文信息与分辨率之间存在权衡。
• 开发一种深度学习框架，通过根据输入图像特征动态加权多尺度特征，模拟病理科医生的自适应放大倍数切换行为。
• 通过端到端训练使专家网络专业化并优化融合权重，实现互补预测，从而提升分割精度。
• 通过应用于多种主干网络（U-Net、SegNet、Dilated-Net、DeepLabv3+）验证方法的泛化能力。

提出的方法

• 该方法采用多个专家CNN，每个专家在特定放大倍数（5x、10x、20x）的图像上预先训练，以提取多尺度特征。
• 一个可学习的融合网络根据输入图像动态分配每个专家分割输出的自适应权重，实现上下文感知的特征聚合。
• 端到端训练联合优化专家网络与融合模块，促进专家之间在不同放大倍数下的互补预测行为。
• 融合网络使用可微分的注意力机制计算权重，反映当前输入下各放大倍数的相关性。
• 该框架与网络架构无关，可通过替换专家网络为任意选定架构，应用于任何分割主干网络。
• 模型使用带类别平衡加权的交叉熵损失进行训练，以处理病理数据中亚型分布不均衡的问题。

实验结果

研究问题

• RQ1 与单放大倍数模型相比，多放大倍数特征的自适应融合是否能提升肺腺癌亚型语义分割性能？
• RQ2 端到端训练如何影响不同放大倍数下专家网络的专业化与互补行为？
• RQ3 所提出方法在不同分割网络架构（如U-Net、DeepLabv3+）上的泛化能力如何？
• RQ4 自适应加权机制是否能提升罕见亚型（如微乳头状亚型）的性能，其中上下文与分辨率均至关重要？
• RQ5 模型能否通过学习在何时优先采用高分辨率或广视野特征，有效平衡视场与分辨率之间的权衡？

主要发现

• AWMF-CNN在四类亚型分割任务中，相较于最佳单放大倍数基线（20x下的DeepLabv3+），mIoU提升了5.36%。
• 与单独预训练的专家相比，端到端训练使正确预测的交并集提高了7%，表明专家间互补行为得到增强。
• 该方法优于当前最先进方法，包括Hard-Switch-CNN，在四类分割基准上mIoU提升0.031。
• 当使用U-Net和Dilated-Net主干网络时，AWMF-CNN相较于最佳单个专家网络，性能提升达15.7–16.0%。
• 该模型展现出强大的泛化能力，在所有测试的主干网络上，mIoU均比最佳单放大倍数专家高出3–16%。
• 可视化结果表明，融合网络学会优先选择5x图像以捕捉广视野特征（如区分乳头状型与正常组织），并优先选择20x图像以捕捉精细细节（如微乳头状型与腺泡型的区分），其行为与病理科医生一致。