[论文解读] A Multi-channel Network with Image Retrieval for Accurate Brain Tissue Segmentation

Yao Sun, Yang Deng+4 more|arXiv (Cornell University)|Aug 1, 2018

Advanced Neural Network Applications参考文献 7被引用 3

一句话总结

该论文提出了一种多通道卷积神经网络，通过将基于内容的图像检索（CBIR）检索到的最相似图像的真值作为第四输入通道，增强了脑组织分割效果。通过利用来自相似扫描的先验解剖纹理信息，该方法在标准三通道网络基础上将Dice分数提高了约0.01，且仅需极少的网络架构修改，并在T1、T2-FLAIR和T1-IR磁共振成像模态下表现出强鲁棒性。

ABSTRACT

Magnetic Resonance Imaging (MRI) is widely used in the pathological and functional studies of the brain, such as epilepsy, tumor diagnosis, etc. Automated accurate brain tissue segmentation like cerebro-spinal fluid (CSF), gray matter (GM), white matter (WM) is the basis of these studies and many researchers are seeking it to the best. Based on the truth that multi-channel segmentation network with its own ground truth achieves up to average dice ratio 0.98, we propose a novel method that we add a fourth channel with the ground truth of the most similar image's obtained by CBIR from the database. The results show that the method improves the segmentation performance, as measured by average dice ratio, by approximately 0.01 in the MRBrainS18 database. In addition, our method is concise and robust, which can be used to any network architecture that needs not be modified a lot.

研究动机与目标

• 提高MRI扫描中脑组织自动分割的准确性，特别是脑脊液（CSF）、灰质（GM）和白质（WM）的分割。
• 解决标准深度学习模型在脑MRI分割中缺乏先验解剖纹理信息的挑战。
• 开发一种方法，将外部相关解剖知识从相似扫描中整合进来，而无需修改现有网络架构。
• 评估利用CBIR检索最相似图像的真值作为第四输入通道以提升分割性能的有效性。
• 证明该方法在不同MRI模态和网络架构下的鲁棒性与泛化能力。

提出的方法

• 该方法采用基于U-Net的多通道分割网络，具有四个输入通道：T1、T2-FLAIR、T1-IR，以及一个包含通过CBIR检索到的最相似图像真值的第四通道。
• 采用基于内容的图像检索（CBIR）技术，根据图像特征和配准后相似度，将每个测试MRI切片与数据库中最具相似性的图像匹配。
• 图像相似度使用基于L1-范数的公式计算：$ S(A,B) = 1 - \frac{\|A-B\|_1}{\|A+B\|_1} $，当相似度超过阈值时，启用检索图像的真值作为第四通道。
• 网络在每个卷积层后使用批量归一化和ReLU激活函数，并采用均方误差（MSE）损失函数进行训练。
• 当查询图像与检索图像之间的相似度低于阈值时，网络退化为标准三通道输入。
• 在相同分辨率下，将编码路径和解码路径的特征图进行拼接，以同时保留粗粒度与细粒度的空间信息。

实验结果

研究问题

• RQ1 在不修改网络架构的前提下，将数据库中相似图像的真值引入是否能提升脑MRI分割的准确性？
• RQ2 在MRBrainS18数据集上，基于CBIR的第四通道输入的多通道网络相较于标准三通道网络，性能表现如何？
• RQ3 利用来自相似扫描的先验解剖纹理信息，在多大程度上可减少噪声并改善组织分割边界的平滑性？
• RQ4 当最相似图像并非完美匹配时，该方法是否仍保持鲁棒性？这对误分类率有何影响？
• RQ5 该方法是否可推广至其他深度学习架构，且仅需极少的架构修改？

主要发现

• 与标准三通道网络相比，所提方法将平均Dice分数提高了约0.01，分别达到CSF的0.8440 ± 0.0020、GM的0.8404 ± 0.0023和WM的0.8834 ± 0.0025。
• 基线实验中，若将测试图像自身的真值作为第四通道，Dice分数分别达到CSF的0.9874、GM的0.9747和WM的0.9626，表明第四通道先验具有显著潜力。
• 可视化结果表明，第四通道显著减少了随机噪声，并改善了组织间边界的平滑性，尤其在GM和WM区域效果明显。
• 观察到误分类现象，例如颅骨区域被错误分割为CSF，归因于非最优图像匹配带来的纹理信息不匹配。
• 该方法具有强鲁棒性，可适用于任何现有网络架构，仅需增加一个输入通道，修改极少。
• 结果表明，使用最相似图像的真值（而非较不相似的图像）将进一步提升性能，这是未来工作的关键方向。