[论文解读] A New Ensemble Learning Framework for 3D Biomedical Image Segmentation

Hao Zheng, Yizhe Zhang+5 more|arXiv (Cornell University)|Dec 10, 2018

Advanced Neural Network Applications参考文献 24被引用 12

一句话总结

本文提出了一种用于3D生物医学图像分割的新型集成学习框架，通过基于全卷积网络的元学习器将2D和3D深度学习模型相结合。通过在基学习器生成的伪标签上训练元学习器，而非人工标注，该方法减少了过拟合，并利用了大量未标注数据，在两个公开数据集上实现了全监督、半监督和归纳设置下的最先进性能。

ABSTRACT

3D image segmentation plays an important role in biomedical image analysis. Many 2D and 3D deep learning models have achieved state-of-the-art segmentation performance on 3D biomedical image datasets. Yet, 2D and 3D models have their own strengths and weaknesses, and by unifying them together, one may be able to achieve more accurate results. In this paper, we propose a new ensemble learning framework for 3D biomedical image segmentation that combines the merits of 2D and 3D models. First, we develop a fully convolutional network based meta-learner to learn how to improve the results from 2D and 3D models (base-learners). Then, to minimize over-fitting for our sophisticated meta-learner, we devise a new training method that uses the results of the base-learners as multiple versions of "ground truths". Furthermore, since our new meta-learner training scheme does not depend on manual annotation, it can utilize abundant unlabeled 3D image data to further improve the model. Extensive experiments on two public datasets (the HVSMR 2016 Challenge dataset and the mouse piriform cortex dataset) show that our approach is effective under fully-supervised, semi-supervised, and transductive settings, and attains superior performance over state-of-the-art image segmentation methods.

研究动机与目标

• 解决2D和3D卷积神经网络在3D生物医学图像分割中视野与跨切片信息利用之间的权衡问题。
• 开发一种鲁棒的集成框架，结合2D和3D基学习器的互补优势，且无架构偏差。
• 通过使用伪标签作为训练目标，在仅有限标注3D数据的情况下最小化元学习器的过拟合。
• 在元学习器训练中有效利用未标注的3D图像数据，以提升泛化能力和性能。
• 在真实世界生物医学数据集上，于全监督、半监督和归纳等多种学习设置下实现卓越的分割准确率。

提出的方法

• 基于全卷积网络（FCN）的元学习器被训练以利用基学习器输出作为输入特征，对来自多样化2D和3D基学习器的预测进行优化。
• 提出一种新型训练策略，用基学习器生成的伪标签替代人工真实标签，从而减少过拟合并支持未标注数据的使用。
• 元学习器采用两阶段训练过程：先进行随机初始化（random-fit），再通过最近邻（NN-fit）方法进行优化，以提升收敛性和性能。
• 该框架支持多种学习设置：全监督（仅使用标注数据）、半监督（使用标注和未标注数据）以及归纳学习（在元学习器训练期间使用测试数据但无标注）。
• 该方法在元学习器训练过程中避免直接依赖人工标注，而是依靠基学习器预测所提炼的知识来指导学习。
• 该框架在两个公开数据集（HVSMR 2016 和小鼠梨状皮层）上进行评估，采用Dice分数及其他标准指标。

实验结果

研究问题

• RQ1 元学习器能否有效结合2D和3D基学习器的预测，使3D生物医学图像分割性能超越单一模型？
• RQ2 在标注数据有限的情况下，使用伪标签而非人工标注训练元学习器是否能减少过拟合并提升泛化能力？
• RQ3 所提出的框架是否能在全监督、半监督和归纳学习设置下均实现最先进性能？
• RQ4 在元学习器训练中使用未标注数据如何影响分割准确率和鲁棒性？
• RQ5 所提出的训练策略（先随机初始化，再NN-fit优化）是否相比标准元学习器训练方法能提升收敛性和最终性能？

主要发现

• 在全监督训练下，该框架在HVSMR 2016数据集上实现了0.215的Dice分数，优于基线平均集成和朴素元学习器。
• 在归纳设置下，元学习器通过利用未标注的测试数据，将HVSMR 2016数据集上的Dice分数从仅使用训练数据的0.215提升至0.234。
• 在小鼠梨状皮层数据集上，该方法在归纳设置下实现了0.9970的Dice分数，超过仅训练方法的0.9967分数。
• 消融实验表明，仅使用伪标签进行元学习器训练可获得更优结果（0.215 Dice），优于仅使用真实标签（0.192 Dice），证明了伪标签训练策略的有效性。
• 随机初始化与NN-fit结合的训练策略显著提升了性能，S7（NN-fit）在所有设置下均优于S6（随机初始化）。
• 在半监督学习中，该框架在HVSMR 2016数据集上实现了0.063（Group A）和0.038（Group B）的元学习器分数，表明其在利用未标注数据方面具有强大泛化能力。