[论文解读] Ensembles of Multiple Models and Architectures for Robust Brain Tumour Segmentation

Konstantinos Kamnitsas, Wenjia Bai+9 more|arXiv (Cornell University)|Nov 4, 2017

Brain Tumor Detection and Classification参考文献 20被引用 59

一句话总结

该论文提出 EMMA，一种多样 CNN 架构的集成，用于鲁棒脑肿瘤分割，通过边缘化模型配置偏差，在 BRATS 2017 取得顶级表现。

ABSTRACT

Deep learning approaches such as convolutional neural nets have consistently outperformed previous methods on challenging tasks such as dense, semantic segmentation. However, the various proposed networks perform differently, with behaviour largely influenced by architectural choices and training settings. This paper explores Ensembles of Multiple Models and Architectures (EMMA) for robust performance through aggregation of predictions from a wide range of methods. The approach reduces the influence of the meta-parameters of individual models and the risk of overfitting the configuration to a particular database. EMMA can be seen as an unbiased, generic deep learning model which is shown to yield excellent performance, winning the first position in the BRATS 2017 competition among 50+ participating teams.

研究动机与目标

• 在多样的 CNN 架构和元参数背景下，推动鲁棒的脑肿瘤分割。
• 提出一个框架，通过对模型配置进行边缘化以降低偏差。
• 构建一个集成（EMMA），通过对异质模型的预测进行平均来融合结果。
• 在 BRATS 2017 数据上展示鲁棒性与泛化能力。

提出的方法

• 构建一个由多样 CNN 组成的集成（DeepMedic 变体、三个 3D FCN，以及两个 3D U-Net）。
• 对每个模型使用不同的预处理、损失函数和元参数进行训练，以引发高架构/配置方差。
• 通过对模型间逐体素的类别置信度图取平均来集成，并将每个体素分配给具有最高平均置信度的类别。
• 通过多种强度归一化进行数据预处理，并对预测取平均以减轻归一化效应。
• 将 EMMA 正式化为对元参数 m 的边缘化，以近似真实后验 P(y|x)。
• 在 BRATS 2017 数据上进行评估，并与顶尖团队进行比较。

实验结果

研究问题

• RQ1 汇聚来自多样架构的预测是否能降低对任意单一模型元参数的依赖？
• RQ2 EMMA 是否在 BRATS 的训练/验证/测试分割中提升鲁棒性和泛化能力？
• RQ3 在不同预处理/归一化流程下，EMMA 的表现如何？

主要发现

• EMMA 在 BRATS 2017 测试中在 50+ 支队伍中获得最佳总体表现（Dice 分数和 Hausdorff 指标）。
• 跨多样架构的集成降低对单一模型偏差和元参数的敏感度。
• EMMA 在验证集和测试集上表现相似，表明对数据集分布漂移具有鲁棒性。
• 通过 EMMA 纳入多种强度归一化可缓解归一化相关的性能变异。
• 该方法提供了一个更客观、配置不变的 P(y|x) 近似估计。