[논문 리뷰] DeepOrganNet: On-the-Fly Reconstruction and Visualization of 3D / 4D Lung Models from Single-View Projections by Deep Deformation Network

Yifan Wang, Zichun Zhong외 1명|arXiv (Cornell University)|2019. 07. 22.

3D Shape Modeling and Analysis참고 문헌 50인용 수 4

한 줄 요약

DeepOrganNet는 실시간으로 단일 2차원 의료 영상(예: X-ray 또는 4D-CT)에서 고해상도의 다양체 3D/4D 폐 메쉬를 재구성하는 딥러닝 프레임워크이다. 학습된 잠재 기술자표현을 활용한 삼변량 텐서 곱의 변형 네트워크를 사용하여 실시간 정확도 높은 장기 모델링을 가능하게 하여 전통적인 방법에 비해 영상 선량과 계산 시간을 감소시킨다.

ABSTRACT

This paper introduces a deep neural network based method, i.e., DeepOrganNet, to generate and visualize high-fidelity 3D / 4D organ geometric models from single-view medical image in real time. Traditional 3D / 4D medical image reconstruction requires near hundreds of projections, which cost insufferable computational time and deliver undesirable high imaging / radiation dose to human subjects. Moreover, it always needs further notorious processes to extract the accurate 3D organ models subsequently. To our knowledge, there is no method directly and explicitly reconstructing multiple 3D organ meshes from a single 2D medical grayscale image on the fly. Given single-view 2D medical images, e.g., 3D / 4D-CT projections or X-ray images, our end-to-end DeepOrganNet framework can efficiently and effectively reconstruct 3D / 4D lung models with a variety of geometric shapes by learning the smooth deformation fields from multiple templates based on a trivariate tensor-product deformation technique, leveraging an informative latent descriptor extracted from input 2D images. The proposed method can guarantee to generate high-quality and high-fidelity manifold meshes for 3D / 4D lung models. The major contributions of this work are to accurately reconstruct the 3D organ shapes from 2D single-view projection, significantly improve the procedure time to allow on-the-fly visualization, and dramatically reduce the imaging dose for human subjects. Experimental results are evaluated and compared with the traditional reconstruction method and the state-of-the-art in deep learning, by using extensive 3D and 4D examples from synthetic phantom and real patient datasets. The proposed method only needs several milliseconds to generate organ meshes with 10K vertices, which has a great potential to be used in real-time image guided radiation therapy (IGRT).

연구 동기 및 목표

• 기존 3D/4D CBCT 영상에서 높은 방사선 선량과 긴 재구성 시간 문제를 해결하기 위해 수백 개의 영상 프로젝션을 요구하는 문제를 해결한다.
• 단일 2D 영상에서 직접 고해상도 3D 장기 메쉬를 생성함으로써 후처리 분할 및 재구성 단계가 필요 없도록 한다.
• 영상유도 방사선치료(IGRT) 중에 동적인 폐 모델을 실시간으로 실시간으로 시각화할 수 있도록 한다.
• 단일 시각 입력에서 다수의 장기 형태(예: 좌우 폐)를 동시에 재구성할 수 있는 딥러닝 프레임워크를 개발한다.
• 기존의 비만곡면 또는 저품질 메쉬를 생성하는 딥러닝 방법에 비해 형태의 정확성과 다각형 품질을 향상시킨다.

제안 방법

• 이 방법은 세 가지 핵심 구성 요소로 이루어진 엔드 투 엔드 딥 네ural 네트워크를 사용한다: 특징 인코더 블록, 독립적인 변형 블록, 공간 배치(이동) 블록.
• 다양한 해부학적 템플릿에서 부드럽고 최적의 변형을 학습하기 위해 삼변량 텐서 곱 변형 기법(자유형 변형)을 사용한다.
• 입력 2D 영상에서 추출된 잠재 기술자표현을 활용하여 가장 적합한 템플릿의 선택과 변형을 유도한다.
• 네트워크는 템플릿 선택과 변형 필드를 동시에 학습하여 복잡한 환자 특화 폐 기하학의 정확한 재구성을 가능하게 한다.
• 합성 펌프와 실제 4D-CT 환자 데이터셋을 사용하여 다양한 해부학적 형태와 호흡 단계에 일반화되도록 훈련한다.
• 각 단계를 별도로 처리함으로써 4D 재구성을 지원하며, 향후 RNN 및 주목력 기반 확장이 가능하다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 단일 2D 의료 영상에서 고해상도의 다각형 3D/4D 폐 메쉬를 직접 재구성할 수 있는가?
• RQ2 제안된 방법은 임상 적용을 위해 밀리초 이내의 지연 시간으로 실시간 재구성(실시간 처리)을 달성할 수 있는가?
• RQ3 이 프레임워크는 단일 입력 영상에서 다수의 장기(예: 좌우 폐)를 동시에 재구성할 수 있는가?
• RQ4 형태 정확성과 메쉬 품질 측면에서 기존의 FDK 및 최신 딥러닝 방법과 비교해 본 결과, 제안된 방법의 성능는 어떠한가?
• RQ5 다중 프로젝션 CBCT를 단일 시각 영상으로 대체함으로써 영상 선량을 크게 감소시킬 수 있는가, 동시에 진단 정확도를 유지할 수 있는가?

주요 결과

• DeepOrganNet는 약 10,000개의 정점로 구성된 3D/4D 폐 메쉬를 몇 밀리초 내에 재구성하여 실시간 성능를 달성한다.
• 기존의 FDK 방식에서 수 분이 걸리던 재구성 시간을 4D 단계당 22ms 이내로 단축시켜 IGRT에서 실시간 시각화를 가능하게 한다.
• 재구성된 메쉬는 다각형이며 고해상도로, 비만곡면 또는 잘못된 표면 요소를 생성하는 기존의 딥러닝 방법보다 뛰어난 성능을 보인다.
• 프레임워크는 동적인 호흡 운동을 성공적으로 포착하였으며, 펌프 및 실제 환자 데이터에서 모두 퇴행 단계에서 변형 크기가 정확하게 매핑됨을 확인하였다.
• 특히 저프로젝션 조건에서 기존의 FDK 및 최신 딥러닝 접근법에 비해 뛰어난 형태 재구성 정확도를 달성하였다.
• 시스템은 임상 적용 가능성을 입증하였으며, 협력 병원과 함께 공식 임상 시험을 준비 중이다.