[论文解读] An Effective Transformer-based Solution for RSNA Intracranial Hemorrhage Detection Competition

Fangxin Shang, Siqi Wang+2 more|arXiv (Cornell University)|May 16, 2022

Intracerebral and Subarachnoid Hemorrhage Research被引用 4

一句话总结

本文提出了一种基于单一端到端Transformer的颅内出血检测模型，仅使用四分之一的参数量和百分之十的FLOPs，便超越了RSNA 2019竞赛的优胜方案。通过利用Swin-Transformer提取切片内特征，并采用两层序列Transformer建模切片间依赖关系，结合FixMatch半监督学习方法，该方法在三模型集成下实现了0.04345的私有测试对数损失，在单模型下也达到了0.04368，优于优胜方案的0.04383。

ABSTRACT

We present an effective method for Intracranial Hemorrhage Detection (IHD) which exceeds the performance of the winner solution in RSNA-IHD competition (2019). Meanwhile, our model only takes quarter parameters and ten percent FLOPs compared to the winner's solution. The IHD task needs to predict the hemorrhage category of each slice for the input brain CT. We review the top-5 solutions for the IHD competition held by the Radiological Society of North America(RSNA) in 2019. Nearly all the top solutions rely on 2D convolutional networks and sequential models (Bidirectional GRU or LSTM) to extract intra-slice and inter-slice features, respectively. All the top solutions enhance the performance by leveraging the model ensemble, and the model number varies from 7 to 31. In the past years, since much progress has been made in the computer vision regime especially Transformer-based models, we introduce the Transformer-based techniques to extract the features in both intra-slice and inter-slice views for IHD tasks. Additionally, a semi-supervised method is embedded into our workflow to further improve the performance. The code is available in the manuscript.

研究动机与目标

• 开发一种比RSNA 2019竞赛中表现最佳方案更高效、更准确的颅内出血检测模型。
• 解决现有基于2D CNN和RNN的模型在切片内与切片间特征学习中分离处理所导致的误差累积问题，以及缺乏端到端优化的缺陷。
• 通过整合半监督学习，降低对大规模模型集成的依赖，从而实现在更低计算成本下的临床部署。
• 探索现代Transformer架构在医学图像序列建模中用于多标签分类任务的有效性。

提出的方法

• 使用Swin-Transformer提取切片内特征，实现在每个CT切片内的高内存效率与局部-全局注意力机制。
• 通过两层序列Transformer建模切片间的依赖关系，按顺序处理切片内特征序列。
• 在Swin-Transformer中应用残差连接与后归一化（Post-Normalization, PN），以稳定训练并改善梯度流动。
• 采用深度监督架构（Deep-Supervision, DS），通过辅助分类器加速训练过程中的收敛。
• 通过为未标注数据生成伪标签并施加强增强策略，应用FixMatch半监督学习方法，提升泛化能力。
• 策略性地使用模型集成——仅组合三个模型，且根据私有排行榜排名分配权重，以在不显著增加计算成本的前提下提升性能。

实验结果

研究问题

• RQ1 基于单一端到端Transformer架构的模型能否超越RSNA 2019竞赛中采用的多个2D CNN与RNN模型的集成方案？
• RQ2 将传统的CNN-RNN流水线替换为基于Transformer的架构，是否能减少误差累积并提升性能？
• RQ3 通过FixMatch实现的半监督学习是否能有效提升模型准确率，同时减少对大型模型集成的需求？
• RQ4 后归一化、动态加权和数据增强等架构选择在本任务中对性能提升的贡献程度如何？
• RQ5 显式建模出血类型之间的逻辑关系（如'any'为其他类别的最大值）是否必要或有益？

主要发现

• 所提出的单模型解决方案在私有测试集上实现了0.04368的对数损失，优于RSNA 2019竞赛第一名方案的0.04383。
• 在使用FixMatch伪标签的三模型集成下，方法实现了0.04345的私有对数损失，进一步超越了竞赛优胜方案。
• 该模型每轮推理仅需8600万参数和150亿FLOPs，分别为优胜方案（3.3亿参数，1800亿FLOPs）的25%和10%。
• 消融实验表明，RBE、DS、PN、DW、SW和FM等各组件均对性能有逐步贡献，完整配置使对数损失从0.09495降低至0.04368。
• 使用外部数据（CQ500）和对'any'类进行逻辑重参数化并未带来显著性能提升，表明模型已高度优化。
• 模型的端到端训练使梯度能通过切片内与切片间模块完整反向传播，避免了传统解耦流水线中的误差累积问题。