[论文解读] 3D Anisotropic Hybrid Network: Transferring Convolutional Features from 2D Images to 3D Anisotropic Volumes

Siqi Liu, Daguang Xu+8 more|arXiv (Cornell University)|Nov 23, 2017

AI in cancer detection被引用 7

一句话总结

本文提出一种3D各向异性混合网络（AH-Net），将ImageNet预训练的2D卷积特征迁移至3D各向异性体素中，利用各向异性3D卷积和跳跃连接建模层间上下文关系，同时保持强大的泛化能力。该方法在断层乳腺摄影（DBT）中的病灶检测以及CT中的肝脏/病灶分割任务上均达到最先进性能，且推理速度优于2D多切片方法。

ABSTRACT

While deep convolutional neural networks (CNN) have been successfully applied for 2D image analysis, it is still challenging to apply them to 3D anisotropic volumes, especially when the within-slice resolution is much higher than the between-slice resolution and when the amount of 3D volumes is relatively small. On one hand, direct learning of CNN with 3D convolution kernels suffers from the lack of data and likely ends up with poor generalization; insufficient GPU memory limits the model size or representational power. On the other hand, applying 2D CNN with generalizable features to 2D slices ignores between-slice information. Coupling 2D network with LSTM to further handle the between-slice information is not optimal due to the difficulty in LSTM learning. To overcome the above challenges, we propose a 3D Anisotropic Hybrid Network (AH-Net) that transfers convolutional features learned from 2D images to 3D anisotropic volumes. Such a transfer inherits the desired strong generalization capability for within-slice information while naturally exploiting between-slice information for more effective modelling. The focal loss is further utilized for more effective end-to-end learning. We experiment with the proposed 3D AH-Net on two different medical image analysis tasks, namely lesion detection from a Digital Breast Tomosynthesis volume, and liver and liver tumor segmentation from a Computed Tomography volume and obtain the state-of-the-art results.

研究动机与目标

• 为解决在各向异性医学体素上从零开始训练3D卷积神经网络时面临的数据量有限及泛化能力差的问题。
• 克服标准3D卷积神经网络使用各向同性卷积核在处理高层内分辨率与低层间分辨率时的局限性。
• 利用预训练的2D特征提升泛化能力，同时通过各向异性卷积有效建模3D上下文信息。
• 实现比堆叠2D网络输出更快的端到端3D推理速度。

提出的方法

• 使用多张2D切片作为输入，在ImageNet上预训练一个2D全卷积残差网络（ResNet）。
• 通过在额外维度上扩展2D卷积核，将2D编码器的权重迁移至3D网络。
• 构建一个使用3×3×1和1×1×3卷积核的3D特征解码器，通过各向异性卷积模块突出层内与层间特征。
• 借鉴U-Net结构，在编码器与解码器之间引入密集连接与跳跃连接，以保留空间细节。
• 在网络末端应用金字塔体素池化模块，提取多尺度特征。
• 使用3D小批量样本并结合焦点损失进行微调，以实现难样本挖掘，提升训练稳定性和性能。

实验结果

研究问题

• RQ1 在数据量有限的情况下，能否有效将预训练的2D特征迁移至3D各向异性体素中，以提升泛化能力？
• RQ2 在具有高度各向异性分辨率的体素（如DBT和CT）中，如何有效建模3D上下文信息？
• RQ3 在该类设置下，使用各向异性卷积核（3×3×1和1×1×3）是否优于标准的各向同性卷积核（3×3×3）？
• RQ4 混合2D-3D架构能否在保持或提升准确率的同时，实现比多切片2D推理更快的推理速度？
• RQ5 焦点损失是否能改善在类别不平衡的3D分割任务中的学习效果？

主要发现

• 在LITS 2017挑战赛数据集上，AH-Net在病灶分割任务中取得了0.834的Dice全局得分，肝脏分割任务中取得了0.970的Dice全局得分，达到最先进水平。
• 在病灶分割任务中，AH-Net的Dice每病例得分达到0.634，肝脏分割任务中为0.963，优于挑战赛中所有其他参赛方法。
• 由于从ImageNet迁移学习，与标准3D U-Net及其他3D模型相比，AH-Net展现出更优的泛化能力。
• AH-Net的GPU推理时间快于2D多切片推理流水线，支持端到端3D处理。
• 焦点损失显著提升了对困难、稀有或模糊体素的学习效果，尤其在病灶分割任务中表现突出。
• 该模型在不同切片厚度（0.45–6.0 mm）和非均匀强度分布的多样化各向异性CT扫描中均表现出良好的泛化能力。