[论文解读] Learning to Rearrange Voxels in Binary Segmentation Masks for Smooth Manifold Triangulation

Jianning Li, Antonio Pepe+3 more|arXiv (Cornell University)|Aug 11, 2021

Anatomy and Medical Technology被引用 4

一句话总结

本文提出了一种从低分辨率输入进行高分辨率颅骨重建的粗到细深度学习框架，通过学习的体素重排和分层图像合成技术，恢复出平滑且符合流形特性的表面。通过利用二值化特征向量和基于哈希表的最近邻搜索，该方法在无需直接处理全分辨率体素数据的情况下，实现了高质量的3D打印三角化结果。

ABSTRACT

Medical images, especially volumetric images, are of high resolution and often exceed the capacity of standard desktop GPUs. As a result, most deep learning-based medical image analysis tasks require the input images to be downsampled, often substantially, before these can be fed to a neural network. However, downsampling can lead to a loss of image quality, which is undesirable especially in reconstruction tasks, where the fine geometric details need to be preserved. In this paper, we propose that high-resolution images can be reconstructed in a coarse-to-fine fashion, where a deep learning algorithm is only responsible for generating a coarse representation of the image, which consumes moderate GPU memory. For producing the high-resolution outcome, we propose two novel methods: learned voxel rearrangement of the coarse output and hierarchical image synthesis. Compared to the coarse output, the high-resolution counterpart allows for smooth surface triangulation, which can be 3D-printed in the highest possible quality. Experiments of this paper are carried out on the dataset of AutoImplant 2021 (https://autoimplant2021.grand-challenge.org/), a MICCAI challenge on cranial implant design. The dataset contains high-resolution skulls that can be viewed as 2D manifolds embedded in a 3D space. Codes associated with this study can be accessed at https://github.com/Jianningli/voxel_rearrangement.

研究动机与目标

• 解决3D医学图像处理中高内存消耗的问题，特别是针对颅骨等高分辨率体素数据。
• 在深度学习医学图像重建过程中，保留标准下采样导致的细微几何细节。
• 通过生成平滑且符合流形特性的三角化结果，实现高质量的3D打印颅骨重建。
• 开发内存高效的间接方法，通过粗略表示和后处理重建高分辨率图像。
• 探索可泛化的技术，适用于颅骨重建之外的其他稀疏、流形类医学图像任务。

提出的方法

• 在下采样的二值分割掩码（例如128³）上训练深度神经网络，以生成粗略的3D颅骨表示。
• 利用基于哈希表的最近邻搜索，通过二值化特征向量的近似最近邻搜索，将粗略体素映射到高分辨率位置，实现学习的体素重排。
• 构建多分辨率的模板图像金字塔，以指导分层图像合成，生成高分辨率输出。
• 使用稀疏卷积神经网络（子流形稀疏CNN）利用颅骨数据的空间稀疏性和二值性，降低FLOPs和内存使用量。
• 实现二值化特征编码与基于汉明距离的最近邻搜索，加速哈希表中的最近邻查找，实现快速、内存高效的体素映射。
• 利用最近邻搜索结果进行图像合成，以重建高分辨率体素，同时评估基于哈希表和kd-tree的两种方法在准确性和效率上的表现。

实验结果

研究问题

• RQ1 是否可以通过粗到细的深度学习流程，在不直接处理全分辨率数据的情况下，重建出高分辨率、平滑且符合流形特性的颅骨表面？
• RQ2 基于哈希表的最近邻搜索，学习的体素重排在恢复表面平滑性和几何保真度方面的有效性如何？
• RQ3 在使用近似（哈希表）与精确（kd-tree）最近邻搜索时，重建质量与计算效率之间的权衡如何？
• RQ4 二值化特征向量与稀疏表示在多大程度上能够降低3D医学图像重建中的内存和FLOP需求？
• RQ5 所提出的方法在涉及稀疏、流形类结构的其他医学影像任务中是否具有泛化能力？

主要发现

• 学习的体素重排方法实现了高质量、平滑且符合流形特性的三角化结果，适用于3D打印，其几何保真度优于粗略输入。
• 基于哈希表的最近邻搜索将CPU内存消耗降低至12%，而基于kd-tree的方法为59%，同时保持了可接受的重建质量。
• 基于kd-tree的方法由于采用精确最近邻搜索，重建质量略高，但内存消耗显著增加。
• 体素重排与图像合成方法在CPU上每级重建均在三分钟内完成，表明其具备实际应用的可行性。
• 该方法证明了二值化特征向量与稀疏表示能够实现高效、节省内存的高分辨率医学图像处理。
• 该框架具有泛化能力，适用于其他涉及空间稀疏、流形类结构的医学图像分割与重建任务。