[논문 리뷰] Unsupervised Polychromatic Neural Representation for CT Metal Artifact Reduction

Qing Wu, Lixuan Chen외 5명|arXiv (Cornell University)|2023. 06. 27.

Advanced X-ray and CT Imaging인용 수 8

한 줄 요약

Polyner는 비지도 폴리크로마틱 암시 신경 표현으로, 비선형 금속 효과를 모델링하고 미분 가능 폴리크로마틱 순방향 모델을 사용하여 금속 영향이 있는 CT 이미지를 재구성합니다; 외부 학습 데이터 없이도 도메인 밖에서도 경쟁력 있거나 우수한 MAR 성능을 달성합니다.

ABSTRACT

Emerging neural reconstruction techniques based on tomography (e.g., NeRF, NeAT, and NeRP) have started showing unique capabilities in medical imaging. In this work, we present a novel Polychromatic neural representation (Polyner) to tackle the challenging problem of CT imaging when metallic implants exist within the human body. CT metal artifacts arise from the drastic variation of metal's attenuation coefficients at various energy levels of the X-ray spectrum, leading to a nonlinear metal effect in CT measurements. Recovering CT images from metal-affected measurements hence poses a complicated nonlinear inverse problem where empirical models adopted in previous metal artifact reduction (MAR) approaches lead to signal loss and strongly aliased reconstructions. Polyner instead models the MAR problem from a nonlinear inverse problem perspective. Specifically, we first derive a polychromatic forward model to accurately simulate the nonlinear CT acquisition process. Then, we incorporate our forward model into the implicit neural representation to accomplish reconstruction. Lastly, we adopt a regularizer to preserve the physical properties of the CT images across different energy levels while effectively constraining the solution space. Our Polyner is an unsupervised method and does not require any external training data. Experimenting with multiple datasets shows that our Polyner achieves comparable or better performance than supervised methods on in-domain datasets while demonstrating significant performance improvements on out-of-domain datasets. To the best of our knowledge, our Polyner is the first unsupervised MAR method that outperforms its supervised counterparts. The code for this work is available at: https://github.com/iwuqing/Polyner.

연구 동기 및 목표

• 금속 흔적을 포함한 모든 측정 정보를 보존하기 위해 CT MAR에 대한 비선형, 폴리크로마틱 관점을 제시한다.
• Polyner, 폴리크로마틱 순방향 모델을 포함하는 비지도 INR 기반 방법을 제안한다.
• 스펙트럼 간 물리적 에너지 수준 특성을 보존하는 정규화를 도입한다.
• 도메인 외 데이터에 대한 강인성을 시연하고 감독된 MAR 방법과 비교한다.

제안 방법

• 좌표를 N개의 LAC 맵으로 매핑하는 INR을 사용하여 N 에너지 레벨에 걸친 폴리크로마틱 이미지 재구성 문제로 CT MAR 문제를 모델링한다.
• 에너지 해상 프로젝션을 측정값으로 집계하는 미분 가능 폴리크로마틱 CT 순방향 모델을 도출한다.
• 실측치와 예측치 간의 데이터 일관성 손실과 인접 에너지 레벨 간의 에너지 의존적 스무스니스 손실을 최소화하여 INR을 학습한다.
• Forward-model 주도 최적화를 사용하여 폴리크로마틱 LAC를 회복하고 스펙트럼의 대표 에너지에서 최종 단색 이미지를 출력한다.
• 해시 인코딩과 두 층의 MLP를 가진 INR을 구현하고 샘플링된 X-ray 뷰에서 Adam으로 최적화한다.

실험 결과

연구 질문

• RQ1 비지도, 폴리크로마틱 INR 기반 재구성이 도메인 내 데이터에서 감독된 MAR 방법과 경쟁할 수 있는가?
• RQ2 폴리크로마틱 순방향 모델을 도입하면 선형/단색 접근법보다 MAR 성능이 향상되는가?
• RQ3 에너지 레벨의 이산화와 에너지 스무스 정규화가 MAR 결과에 어떤 영향을 미치는가?
• RQ4 메서드가 도메인 외 또는 실제 데이터 세트에서 감독 기반 기준선과 비교하여 어떻게 성능을 보이는가?

주요 결과

Category	Method	DeepLesion PSNR	DeepLesion SSIM	XCOM PSNR	XCOM SSIM
Model-based	FBP [ 3 ]	29.98 ± 3.46	0.7470 ± 0.0992	23.76 ± 0.08	0.6506 ± 0.0240
Model-based	LI [ 10 ]	31.85 ± 3.20	0.8483 ± 0.0726	33.57 ± 0.44	0.8866 ± 0.0300
Model-based	ART [ 45 ]	32.88 ± 3.63	0.8352 ± 0.0701	32.45 ± 3.76	0.8322 ± 0.0762
Model-based	NMAR [ 11 ]	32.84 ± 5.07	0.8920 ± 0.0938	36.63 ± 0.23	0.9473 ± 0.0068
Supervised	CNN-MAR [ 7 ]	34.22 ± 2.70	0.9240 ± 0.0375	38.52 ± 0.77	0.9591 ± 0.0100
Supervised	DICDNet [ 14 ]	37.55 ± 2.52	0.9689 ± 0.0116	32.65 ± 2.11	0.9449 ± 0.0037
Supervised	ACDNet [ 13 ]	38.19 ± 2.54	0.9675 ± 0.0152	33.04 ± 1.65	0.9343 ± 0.0089
Unsupervised	ADN [ 30 ]	33.00 ± 3.21	0.9412 ± 0.0246	25.26 ± 0.94	0.8737 ± 0.0107
Unsupervised	Score-MAR [ 9 ]	31.66 ± 3.72	0.9174 ± 0.0423	24.92 ± 1.15	0.8754 ± 0.0044
Ours	Polyner (Ours)	37.57 ± 1.93	0.9754 ± 0.0083	38.74 ± 0.59	0.9508 ± 0.0001

• Polyner는 도메인 내 데이터에서 감독된 MAR 방법과 동등하거나 더 우수한 PSNR/SSIM을 달성하고 도메인 외 데이터에서 이를 능가한다.
• 아블레이션 분석은 폴리크로마틱 순방향 모델이 MAR 성능을 크게 개선함을 보여주며(선형 순방향 모델 대비 PSNR 약 3.92 dB 향상).
• 에너지 의존적 스무스 손실은 에너지 레벨 간 일관성을 향상시키고 재구성 품질을 개선한다.
• 에너지 레벨 수(N)를 증가시키면 MAR 성능과 이미지 디테일이 향상된다.
• Polyner는 여전히 비지도이며 외부 학습 데이터가 필요하지 않으면서도 다양한 데이터셋에서 강건한 성능을 제공한다.