[논문 리뷰] X2CT-GAN: Reconstructing CT from Biplanar X-Rays with Generative Adversarial Networks

Xingde Ying, Heng Guo외 4명|arXiv (Cornell University)|2019. 05. 16.

Medical Imaging Techniques and Applications참고 문헌 38인용 수 24

한 줄 요약

이 논문은 3D CT 볼륨을 두 개의 수직 2D X선 영상에서 재구성하는 X2CT-GAN이라는 생성적 적대적 네트워크를 제안한다. 이는 새로운 3D에서 2D로의 특징 융합 메커니즘과 스킵 연결 모듈을 사용하여 해부학적 정확도를 향상시킨다. 이 방법은 双면 X선 영상에서 26.19 dB의 PSNR를 달성하여 단일 영상 기반 및 비-GAN 기반 기준보다 뚜렷하게 뛰어나며, 임상 현장에서 저비용, 저선량 3D 영상 촬영의 가능성을 입증한다.

ABSTRACT

Computed tomography (CT) can provide a 3D view of the patient's internal organs, facilitating disease diagnosis, but it incurs more radiation dose to a patient and a CT scanner is much more cost prohibitive than an X-ray machine too. Traditional CT reconstruction methods require hundreds of X-ray projections through a full rotational scan of the body, which cannot be performed on a typical X-ray machine. In this work, we propose to reconstruct CT from two orthogonal X-rays using the generative adversarial network (GAN) framework. A specially designed generator network is exploited to increase data dimension from 2D (X-rays) to 3D (CT), which is not addressed in previous research of GAN. A novel feature fusion method is proposed to combine information from two X-rays.The mean squared error (MSE) loss and adversarial loss are combined to train the generator, resulting in a high-quality CT volume both visually and quantitatively. Extensive experiments on a publicly available chest CT dataset demonstrate the effectiveness of the proposed method. It could be a nice enhancement of a low-cost X-ray machine to provide physicians a CT-like 3D volume in several niche applications.

연구 동기 및 목표

• 기존의 CT 재구성 기법에 부족한 데이터를 가진 두 개의 수직 X선 영상에서 3D CT 볼륨을 재구성하는 문제를 해결하기 위해.
• 큰 훈련 데이터셋에서의 심층 학습과 해부학적 사전 지식을 활용하여 2D X선 영상에서 3D CT로의 매핑에 존재하는 심각한 모호성 문제를 해결하기 위해.
• 이전 GAN 연구에서 다루지 않은 바, 2D 입력에서 3D 출력으로의 차원 증가를 가능하게 하는 GAN 기반 프레임워크를 개발하기 위해.
• 새로운 특징 융합 모듈을 사용하여 두 개의 수직 X선 영상에서 유용한 해부학적 정보를 융합함으로써 재구성 품질을 향상시키기 위해.
• 저비용 X선 장비를 실용적으로 활용할 수 있도록, 진단적 유용성이 있는 CT 유사 3D 볼륨을 생성함으로써 기관 측정 및 치료 계획과 같은 임상 응용을 가능하게 하기 위해.

제안 방법

• 2D X선 입력을 3D CT 볼륨으로 업샘플링하는 데 전용으로 설계된 생성자 네트워크를 제안하며, 2D에서 3D로의 차원 증가 문제를 명시적으로 다룬다.
• 후면-전면 및 측면 X선 영상에서 유래한 특징을 융합하는 새로운 특징 융합 모듈을 도입하여 상보적인 해부학적 정보를 활용한다.
• 2D 및 3D 특징 맵을 연결하는 스킵 연결 모듈을 도입하여 기울기 흐름을 향상시키고 다중 모odal 특징의 보존을 개선한다.
• 하이브리드 손실 함수를 사용하여 모델을 훈련시키며, 재구성 정밀도를 위해 평균 제곱 오차(MSE), 현실감을 향상시키기 위해 적대적 손실, X선 영상 투영과의 일致성을 확보하기 위해 투영 손실을 포함한다.
• 공개된 체스트 CT 데이터셋에서 디지털 재구성 레이저(DRR)를 사용하여 합성 X선 쌍을 생성하고, CycleGAN을 적용하여 실제 X선의 스타일을 합성 데이터에 전이한다.
• 입력 X선 영상에 조건을 주어 조건부 GAN 훈련을 강화함으로써 생성된 CT 볼륨의 현실감과 해부학적 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 기본적으로 역 문제에서의 모호성이 존재하는 바, 단지 두 개의 수직 2D X선 영상에서 고품질의 3D CT 볼륨을 재구성할 수 있는가?
• RQ2 단일 영상 기반 X선 입력에 비해 이면 X선 입력은 3D CT 재구성 품질과 해부학적 정확도 측면에서 어떻게 다른가?
• RQ3 합성 데이터로 훈련된 GAN 기반 프레임워크가 실제 세계의 X선 영상에 대해 테스트되었을 때, 2D X선 영상에서 3D CT로의 매핑을 효과적으로 학습할 수 있는가?
• RQ4 특징 융합, 스킵 연결, 손실 함수 등과 같은 아키텍처 구성 요소 중에서 재구성 정밀도와 현실감 향상에 가장 중요한 것은 무엇인가?
• RQ5 생성된 CT 볼륨이 기관 크기 측정 및 방사선 치료 계획과 같은 임상 작업을 얼마나 잘 지원할 수 있는가?

주요 결과

• X2CT-GAN 모델은 이면 X선 입력에서 PSNR 26.19 dB를 달성하였으며, 단일 영상 기반 재구성보다 4 dB 향상되어 双면 입력의 이점이 입증되었다.
• 제안된 특징 융합 및 스킵 연결 모듈은 재구성 품질을 크게 향상시켰으며, 스킵 연결 없이도 이면 입력이 단일 영상 입력보다 우수한 성능을 보였다.
• MSE, 적대적 손실, 투영 손실을 모두 포함한 전체 GAN 프레임워크가 가장 우수한 성능을 보였으며, 단순히 적대적 손실이나 재구성 손실만 사용한 모델보다 뛰어났다.
• 실제 X선에 대한 정성적 평가에서 폐와 표면 구조의 타당한 3D 재구성이 가능했으며, 강조된 영역에서 높은 해부학적 정확도를 확보했다.
• 합성 X선으로 훈련되었음에도 불구하고 실제 세계 데이터에 잘 일반화되었으며, CycleGAN 기반 스타일 전이와 결합했을 때 도메인 이탈에 대한 강건성을 보였다.
• 이 방법은 저비용 X선 장비에서 진단적 유용성을 지닌 3D 시각화를 가능하게 하여 기관 측정, 수술 전 계획 수립, 선량 계획 등 응용 분야를 지원한다.