[论文解读] 3D multirater RCNN for multimodal multiclass detection and characterisation of extremely small objects

Carole H. Sudre, Beatriz Gómez Ansón+8 more|arXiv (Cornell University)|Dec 21, 2018

Advanced Neural Network Applications参考文献 5被引用 12

一句话总结

本文提出一种用于在多模态MRI数据中检测和表征极小物体（ESOs）的3D多标注者RCNN框架，特别针对脑小血管病中的扩大血管周围间隙（EPVS）和腔隙。通过整合多标注者标注并采用带有自适应区域提议和距离回归的3D HighResNet主干网络，该模型在存在高度标注者间差异性和极端类别不平衡的情况下，实现了72.7%的ESO检测敏感度。

ABSTRACT

Extremely small objects (ESO) have become observable on clinical routine magnetic resonance imaging acquisitions, thanks to a reduction in acquisition time at higher resolution. Despite their small size (usually $

研究动机与目标

• 解决在3D多模态MRI中检测和表征极小物体（ESOs）的挑战，特别是在脑小血管病背景下。
• 克服ESO（如EPVS和腔隙）人工标注中高度的标注者间差异性，该差异性导致噪声较大的真实标签。
• 开发一种深度学习框架，能够联合检测和分类跨多种成像模态（T1、FLAIR、T2）的ESOs，同时考虑标注者不确定性。
• 提高对因尺寸小于体素且形态多变而常被遗漏的ESOs的检测敏感度。
• 通过在模型训练和推理中整合多标注者共识与分歧，实现对神经血管病理表型的稳健自动化分析。

提出的方法

• 通过使用3D HighResNet主干网络从多模态MRI（T1、FLAIR、T2）中提取特征，将2D RCNN框架扩展至3D。
• 实现一个3D区域提议网络（RPN），在3D网格上使用锚点生成候选框，并通过尺度和位置回归实现ESO的精确定位。
• 引入距离图回归头，通过预测每个体素到最近ESO边界的有符号距离来指导定位。
• 通过将每位标注者的标签建模为概率输入，并利用置信度分数反映标注者间的一致性，实现多标注者标注的整合。
• 采用多任务损失函数，结合分类、回归和距离图监督，并使用类别平衡采样以应对极端前景-背景类别不平衡。
• 应用数据增强和学习率调度策略，以稳定对稀少、罕见物体实例的训练。

实验结果

研究问题

• RQ1 能否有效将3D RCNN框架适配于在高标注者间差异性下检测和表征多模态MRI中的极小物体（ESOs）？
• RQ2 整合多标注者标注（同时考虑一致性和分歧）在多大程度上提升了检测的鲁棒性和可靠性？
• RQ3 距离回归和自适应区域提议在多大程度上改善了尺寸小于10个体素的ESOs的定位？
• RQ4 标注者不确定性与检测性能之间有何关联，特别是在预测框与真实框之间的IoU（交并比）方面？
• RQ5 该模型能否检测到人工标注共识中遗漏的ESOs？这些检测结果是否具有生物学合理性？

主要发现

• 模型在两个独立测试受试者中实现了72.7%的ESO检测敏感度，表明其在极端类别不平衡下仍具有鲁棒性。
• 假阴性样本显著小于真阳性样本（p < 0.00001），表明模型在检测最小的ESOs时面临更大困难。
• 发现标注者一致性和检测重叠之间存在显著关联（p = 0.002），完全一致病例的中位IoU为59%，而不确定病例的中位IoU为30%。
• 模型检测到真实标签中未包含但经临床医生验证为有效EPVS的ESOs，表明其敏感度优于人工标注。
• 概率分类输出显示，低置信度（p < 0.5）的预测框多为不确定或错误，而高置信度预测（p ≥ 0.5）则更为可靠。
• 使用距离图回归显著提升了定位精度，尤其对难以用标准方法分割的小而形状不规则的ESOs效果明显。