[논문 리뷰] MedNeRF: Medical Neural Radiance Fields for Reconstructing 3D-aware CT-Projections from a Single X-ray

Abril Corona-Figueroa, Jonathan Frawley외 4명|arXiv (Cornell University)|2022. 02. 02.

Medical Imaging Techniques and Applications인용 수 5

한 줄 요약

이 논문은 단일 X선 영상을 사용하여 3D 인식 CT 투영도를 재구성하는 딥러닝 모델인 MedNeRF를 제안한다. 수정된 생성 광선장(GRAF) 아키텍처를 기반으로 하며, 새로운 손실 함수와 아키텍처를 갖춘 자기지도 학습 기반 판별자로 3D 감마 감쇠 및 부피 깊이의 연속적인 체적 표현을 3D 지도 없이 학습한다. 이로 인해 방사선 노출을 줄일 잠재력이 있는 고해상도 CT 투영도를 렌더링하는 데 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Computed tomography (CT) is an effective medical imaging modality, widely used in the field of clinical medicine for the diagnosis of various pathologies. Advances in Multidetector CT imaging technology have enabled additional functionalities, including generation of thin slice multiplanar cross-sectional body imaging and 3D reconstructions. However, this involves patients being exposed to a considerable dose of ionising radiation. Excessive ionising radiation can lead to deterministic and harmful effects on the body. This paper proposes a Deep Learning model that learns to reconstruct CT projections from a few or even a single-view X-ray. This is based on a novel architecture that builds from neural radiance fields, which learns a continuous representation of CT scans by disentangling the shape and volumetric depth of surface and internal anatomical structures from 2D images. Our model is trained on chest and knee datasets, and we demonstrate qualitative and quantitative high-fidelity renderings and compare our approach to other recent radiance field-based methods. Our code and link to our datasets are available at https://github.com/abrilcf/mednerf

연구 동기 및 목표

• 기존 CT 스캔에서 높은 이온화 방사선 선량 문제를 해결하기 위해 더 적은 수의 X선 투영도로부터 3D 재구성을 가능하게 하기 위해.
• 표준 NeRF의 의료 영상에서의 한계, 예를 들어 운동 아티팩트, 구조가 겹치는 현상, 3D 지도 부족 문제를 해결하기 위해.
• 짝지어진 CT 스캔이 필요 없이 2D 디지털 재구성 레이저도(DRRs)로부터 연속적인 3D 인식 CT 해부학적 표현을 학습하기 위해.
• 자기지도 학습 기반의 적대적 판별자를 사용하여 희박한 시야 및 단일 시야 설정에서 재구성 정밀도와 체적 깊이 추정을 향상시키기 위해.
• 저선량 영상, 정형외과 계획 수립 및 골격 평가 분야에서 임상 잠재력을 입증하기 위해 방사선 노출을 줄였다.

제안 방법

• 모델은 20개의 흉부 CT 스캔과 5개의 무릎 CT 스캔에서 학습되었으며, 다각도 X선 투영도를 시뮬레이션하기 위해 5° 간격으로 총 72개의 DRRs를 합성 생성하였다.
• 수정된 GRAF 기반 생성자(G)는 좌표 기반 신경망을 사용하여 2D DRRs로부터 감쇠 및 부피 깊이의 연속적인 3D 표현을 학습한다.
• 자기지도 학습 기반의 판별자(D)는 새로운 아키텍처를 갖추어 해부학적 형태와 배경을 분리하고 깊이 추정을 향상시키기 위해 더 강력하고 종합적인 피드백을 제공한다.
• 판별자는 힌지 손실과 가분한 적대적 생성자(DAG)를 사용하여 특징 학습을 향상시키고 모드 붕괴를 줄인다.
• 모델은 적대적 손실, 인지 손실, L1 손실의 조합을 사용하여 엔드 투 엔드로 훈련되며, 세밀한 해부학적 세부 사항과 감쇠 반응을 유지한다.
• 명시적인 투영 행렬을 사용하지 않으며, 3D 표현을 통해 기하학적 정보를 암묵적으로 학습함으로써 단일 입력 X선 영상에서 시각 합성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 3D 지도 없이도 신경 광선장 모델이 단일 X선에서 고해상도 3D 인식 CT 투영도를 재구성할 수 있는가?
• RQ2 자기지도 학습 기반 판별자는 표준 GAN에 비해 의료용 NeRF에서 체적 깊이 및 감쇠 렌더링을 어떻게 향상시키는가?
• RQ3 MedNeRF는 최소한의 지도 없이 다양한 해부학적 구조(예: 흉부 vs. 무릎)에 대해 어느 정도 일반화할 수 있는가?
• RQ4 이미 존재하는 NeRF 기반 방법들인 pixelNeRF와 GRAF에 비해 MedNeRF는 해상도 및 구조적 세부 사항 측면에서 정량적·정성적으로 어떻게 비교되는가?
• RQ5 의료용 DRRs의 투명성과 겹치는 구조로 인해 아티팩트가 발생할 수 있음에도 불구하고, 모델은 일관된 기하학적 구조를 유지하고 아티팩트를 줄일 수 있는가?

주요 결과

• 흉부 데이터셋에서 MedNeRF는 FID(60.26 ± 0.322)와 KID(0.041 ± 0.0005)가 가장 낮아 GRAF와 pixelNeRF를 모두 능가했다.
• 무릎 데이터셋에서 MedNeRF는 FID 76.12 ± 0.193, KID 0.052 ± 0.0004를 기록했으며, pixelNeRF(FID: 166.40 ± 2.153)를 크게 능가했고, GRAF와 유사한 성능을 기록하면서도 더 높은 세부 사항을 확보했다.
• 절단 실험 결과, 힌지 손실을 사용하는 DAG 기반 판별자가 가장 뛰어난 성능을 보였으며, 기준 절단 실험 대비 FID를 12.5% 감소시켰다.
• MedNeRF는 더 선명한 감쇠 지도를 생성하고 형태와 배경을 더 잘 분리하며, 해부학적 영역은 어두운 색상, 배경은 밝은 색상으로 표현한다. 이는 GRAF가 둘 다 유사한 강도로 렌더링하는 것과 대비된다.
• pixelNeRF는 DRRs의 투명성으로 인해 강한 흐림 현상과 색상 이동을 보였지만, MedNeRF는 다양한 시점에서 일관된 기하학적 구조와 세밀한 해부학적 세부 사항을 유지했다.
• 모델은 단일 X선 입력에서 신뢰할 수 있는 3D 인식 CT 투영도를 성공적으로 렌더링하여 저선량 임상 적용 잠재력을 입증했다.