[论文解读] Cross-view Relation Networks for Mammogram Mass Detection

Jiechao Ma, Sen Liang+5 more|arXiv (Cornell University)|Jul 1, 2019

AI in cancer detection参考文献 13被引用 16

一句话总结

该论文提出了一种新型框架——跨视角关系区域卷积神经网络（CVR-RCNN），通过使用双分支Faster R-CNN与跨视角关系网络，联合建模成对的 mediolateral oblique（MLO）和 cranio-caudal（CC）乳腺X光片视图中对应肿块区域之间的潜在关系。该方法在私有数据集上将F1分数提升至73%，每幅图像的假阳性数（FPI）降低至0.30；在公开的DDS M数据集上，F1分数达到0.85（FPI为1.2），性能达到当前最先进水平。

ABSTRACT

Mammogram is the most effective imaging modality for the mass lesion detection of breast cancer at the early stage. The information from the two paired views (i.e., medio-lateral oblique and cranio-caudal) are highly relational and complementary, and this is crucial for doctors' decisions in clinical practice. However, existing mass detection methods do not consider jointly learning effective features from the two relational views. To address this issue, this paper proposes a novel mammogram mass detection framework, termed Cross-View Relation Region-based Convolutional Neural Networks (CVR-RCNN). The proposed CVR-RCNN is expected to capture the latent relation information between the corresponding mass region of interests (ROIs) from the two paired views. Evaluations on a new large-scale private dataset and a public mammogram dataset show that the proposed CVR-RCNN outperforms existing state-of-the-art mass detection methods. Meanwhile, our experimental results suggest that incorporating the relation information across two views helps to train a superior detection model, which is a promising avenue for mammogram mass detection.

研究动机与目标

• 解决现有乳腺X光片肿块检测方法未能利用成对MLO与CC视图之间互补信息的局限性。
• 开发一种深度学习框架，显式建模双视图乳腺X光片中对应肿块区域之间的潜在关系特征。
• 通过视图间共享特征学习实现跨视图验证，从而减少假阳性检测。
• 证明引入视间关系可显著提升检测性能，优于单视图或非关系型多视图方法。

提出的方法

• 该框架采用双分支、权重共享的Faster R-CNN架构，分别从MLO和CC视图中独立提取区域建议（ROIs）。
• 从每个分支提取ROIs的视觉与几何特征（位置、宽度、高度），用于跨视图比较。
• 引入一种新型跨视角关系网络，由多个关系模块组成，聚合来自两视图中对应ROIs的视觉与几何特征。
• 每个关系模块计算两视图中ROI特征之间的注意力式交互，基于跨视图上下文实现特征优化。
• 网络通过联合损失函数进行端到端训练，损失函数包含两分支的区域建议与分类损失，以及关系网络的监督信号。
• 该关系网络模仿放射科医生的工作流程，通过跨视图交叉核对可疑区域，提升检测置信度。

实验结果

研究问题

• RQ1 建模成对MLO与CC乳腺X光片中对应肿块区域之间的潜在关系，是否能提升肿块检测性能？
• RQ2 引入跨视图特征交互是否能减少乳腺X光片肿块检测中的假阳性？
• RQ3 所提出的跨视角关系网络与标准Faster R-CNN及无视间交互的双分支模型相比表现如何？
• RQ4 引入视图特异性关系特征在多大程度上提升了检测的召回率与精确率？
• RQ5 该框架在不同数据集（包括私有与公开乳腺X光片集合）上是否具备良好的泛化能力？

主要发现

• 所提出的CVR-RCNN在私有数据集上达到73%的F1分数，每幅图像的假阳性数（FPI）降低至0.30，显著优于基线模型。
• 当使用四个关系模块（N=4）时，模型实现76.56%的精确率与70.39%的召回率，表明增加关系模块可提升性能。
• 无关系模块的双分支Faster R-CNN实现65.27%的精确率与71.93%的召回率，而CVR-RCNN将其提升至71.12%的精确率与75.33%的召回率。
• 在公开的DDS M数据集上，CVR-RCNN在1.2 FPI下达到0.85的真阳性率（TPR），在1.9 FPI下达到0.88，优于所有先前的SOTA方法。
• 消融实验确认，跨视角关系网络至关重要，当移除关系模块（N=0）时性能显著下降。
• 结果表明，建模视间关系可实现更鲁棒、更精确的检测，通过跨视图验证可疑区域有效减少假阳性。