[论文解读] Attention-Gated Networks for Improving Ultrasound Scan Plane Detection

Jo Schlemper, Ozan Oktay+6 more|arXiv (Cornell University)|Apr 15, 2018

Domain Adaptation and Few-Shot Learning被引用 87

一句话总结

论文提出 Attention-Gated Sononet (AG-Sononet)，将软自注意力机制集成到胎儿超声扫描平面检测器，以利用局部特征、提高精度，并以最小开销实现弱监督定位。

ABSTRACT

In this work, we apply an attention-gated network to real-time automated scan plane detection for fetal ultrasound screening. Scan plane detection in fetal ultrasound is a challenging problem due the poor image quality resulting in low interpretability for both clinicians and automated algorithms. To solve this, we propose incorporating self-gated soft-attention mechanisms. A soft-attention mechanism generates a gating signal that is end-to-end trainable, which allows the network to contextualise local information useful for prediction. The proposed attention mechanism is generic and it can be easily incorporated into any existing classification architectures, while only requiring a few additional parameters. We show that, when the base network has a high capacity, the incorporated attention mechanism can provide efficient object localisation while improving the overall performance. When the base network has a low capacity, the method greatly outperforms the baseline approach and significantly reduces false positives. Lastly, the generated attention maps allow us to understand the model's reasoning process, which can also be used for weakly supervised object localisation.

研究动机与目标

• 在胎儿超声中尽管图像质量较低且类别不平衡，提升实时扫描平面检测。
• 引入自门控软注意力以利用局部信息，而无需边界框监督。
• 实现可视化注意力图以提升可解释性和弱监督定位。

提出的方法

• 在选定层为 Sononet 增加自门控软注意力块以生成注意力图。
• 采用广义注意力公式，使用线性变换和门控来计算相容性分数。
• 实现网格注意力，采用网格化全局特征表示并进行双线性上采样以保留空间上下文。
• 尝试跨尺度的聚合策略：独立的尺度级预测并取平均、深度监督，以及微调的联合预测器。
• 在模型容量（8、16、32 初始过滤器）上将 AG-Sononet 的变体与基线 Sononet 进行比较。

实验结果

研究问题

• RQ1 相较于强基线，软注意力是否能提高胎儿扫描平面分类的准确性和精确度？
• RQ2 注意力图是否能够在无需边界框标签且计算开销较低的情况下实现弱监督定位？
• RQ3 跨多尺度特征的聚合策略如何影响学习与性能？
• RQ4 模型容量对该任务中注意力门控收益有何影响？

主要发现

• 在各容量下，AG-Sononet 相较于 Sononet 均有持续改进，精确度更高且假阳性减少。
• 注意力门控使对视觉上相似的心脏视图（如 4CH 与 3VV）的区分更好，并提升肾、轮廓和脊柱的分类。
• AG-Sononet 生成的注意力图实现近实时的弱监督定位，且不增加额外计算成本。
• 不同的聚合策略表明，稳定的两阶段方法（逐尺度训练后再进行联合微调）能获得最佳性能。
• 使用 8/16/32 初始过滤器的 AG-Sononet 在准确率和 F1 上具有竞争力，并且参数量低于逐步增大基线模型。