[논문 리뷰] Learning to Rearrange Voxels in Binary Segmentation Masks for Smooth Manifold Triangulation

Jianning Li, Antonio Pepe외 3명|arXiv (Cornell University)|2021. 08. 11.

Anatomy and Medical Technology인용 수 4

한 줄 요약

이 논문은 학습된 바vox 재배치와 계층적 이미지 합성 기반으로 저해상도 입력에서 고해상도 두개골 재구성에 적합한 굵기에서 세밀한 딥러닝 프레임워크를 제안한다. 이는 부드럽고 매니폴드 호환성 있는 표면을 복원한다. 이중화된 특징 벡터와 해시 테이블 기반의 근접 이웃 검색을 활용하여, 전체 해상도 볼륨의 직접적인 고메모리 처리 없이도 고품질의 3D 프린팅 가능 트라이앵귤레이션을 달성한다.

ABSTRACT

Medical images, especially volumetric images, are of high resolution and often exceed the capacity of standard desktop GPUs. As a result, most deep learning-based medical image analysis tasks require the input images to be downsampled, often substantially, before these can be fed to a neural network. However, downsampling can lead to a loss of image quality, which is undesirable especially in reconstruction tasks, where the fine geometric details need to be preserved. In this paper, we propose that high-resolution images can be reconstructed in a coarse-to-fine fashion, where a deep learning algorithm is only responsible for generating a coarse representation of the image, which consumes moderate GPU memory. For producing the high-resolution outcome, we propose two novel methods: learned voxel rearrangement of the coarse output and hierarchical image synthesis. Compared to the coarse output, the high-resolution counterpart allows for smooth surface triangulation, which can be 3D-printed in the highest possible quality. Experiments of this paper are carried out on the dataset of AutoImplant 2021 (https://autoimplant2021.grand-challenge.org/), a MICCAI challenge on cranial implant design. The dataset contains high-resolution skulls that can be viewed as 2D manifolds embedded in a 3D space. Codes associated with this study can be accessed at https://github.com/Jianningli/voxel_rearrangement.

연구 동기 및 목표

• 고해상도 체적 데이터(예: 두개골)의 경우 특히 3D 의료 영상 처리에서 높은 메모리 소비 문제를 해결한다.
• 딥러닝을 통한 의료 영상 재구성에서 표준적인 다운샘플링 과정에서 손실되는 미세 기하학적 세부 정보를 유지한다.
• 부드럽고 매니폴드 호환성 있는 트라이앵귤레이션을 생성하여 재구성된 두개골의 고품질 3D 프린팅을 가능하게 한다.
• 직접적인 고해상도 이미지 재구성 없이 굵은 표현과 후처리를 통해 고해상도 이미지를 간접적으로 재구성하는 메모리 효율적인 방법을 개발한다.
• 두개골 재구성 외에도 다른 희소적이고 매니폴드 유사 구조를 가진 의료 영상 작업에 적용 가능한 일반화 가능한 기법을 탐색한다.

제안 방법

• 저해상도(예: 128³) 이진 분할 마스크를 기반으로 딥 네트워크를 훈련시켜 굵은 3D 두개골 표현을 생성한다.
• 해시 테이블 기반의 근접 이웃 검색을 통해 이진 특징 벡터에 대한 근사 근접 이웃 검색을 이용해 굵은 바vox를 고해상도 위치로 매핑하는 학습된 바vox 재배치를 적용한다.
• 다중 해상도에서 템플릿 이미지의 피라미드를 구성하여 고해상도 출력을 위한 계층적 이미지 합성을 유도한다.
• 스패arsity와 두개골 데이터의 이진성 특성을 활용하기 위해 희소 컨volution 신경망(Submanifold Sparse CNN)을 사용하여 FLOPs와 메모리 사용량을 줄인다.
• 해시 테이블 내에서 근접 이웃 검색을 가속화하기 위해 이진 특징 인코딩과 해밍 거리 기반 검색을 구현하여 빠르고 메모리 효율적인 바vox 매핑을 가능하게 한다.
• 근접 이웃 검색 결과를 사용하여 이미지 합성을 수행하여 고해상도 바vox를 재구성하며, 정확도와 효율성 측면에서 해시 테이블 기반 및 kd-트리 기반 방법을 모두 평가한다.

실험 결과

연구 질문

• RQ1 직접적인 전체 해상도 데이터 처리 없이 굵기에서 세밀한 딥러닝 파이프라인으로 고해상도, 부드럽고 매니폴드 호환성 있는 두개골 표면을 재구성할 수 있는가?
• RQ2 해시 테이블 기반 근접 이웃 검색을 통한 학습된 바vox 재배치가 표면의 부드러움과 기하학적 정확도를 복원하는 데 얼마나 효과적인가?
• RQ3 근사(해시 테이블)와 정확한(kd-트리) 근접 이웃 검색을 사용할 경우 재구성 품질과 계산 효율성 사이의 상호 상충 관계는 어떠한가?
• RQ4 이진 특징 벡터와 희소 표현은 3D 의료 영상 재구성에서 메모리와 FLOP 요구량을 얼마나 줄일 수 있는가?
• RQ5 제안된 방법은 두개골 재구성 외에도 희소적이고 매니폴드 유사 구조를 가진 다른 의료 영상 작업에 일반화 가능한가?

주요 결과

• 학습된 바vox 재배치 방법은 3D 프린팅에 적합한 고품질의 부드럽고 매니폴드 호환성 있는 트라이앵귤레이션을 달성하여 굵은 입력보다 기하학적 정확도에서 뛰어난 성능을 보였다.
• 해시 테이블 기반 근접 이웃 검색은 CPU 메모리 소비를 kd-트리 기반 방법의 59%에서 12%로 줄였으며, 여전히 만족스러운 재구성 품질을 유지했다.
• kd-트리 기반 방법은 정확한 근접 이웃 검색 덕분에 略히 더 높은 품질의 재구성을 제공했지만, 상당히 높은 메모리 사용량을 수반했다.
• 바vox 재배치 및 이미지 합성 방법 모두 CPU에서 각 레벨당 3분 이내에 고해상도 재구성을 완료하여 실용적 적용 가능성에 부합했다.
• 이 방법은 이진 특징 벡터와 희소 표현이 고해상도 의료 영상의 효율적이고 메모리 절약형 처리를 가능하게 한다는 점을 입증했다.
• 이 프레임워크는 일반화 가능하며, 공간적으로 희소하고 매니폴드 유사 구조를 가진 다른 의료 영상 분할 및 재구성 작업에 적용 가능하다.