[논문 리뷰] Deep learning-based Real-time Volumetric Imaging for Lung Stereotactic Body Radiation Therapy: A Proof of Concept Study

Yang Lei, Zhen Tian외 6명|arXiv (Cornell University)|2020. 05. 24.

Advanced Radiotherapy Techniques참고 문헌 23인용 수 7

한 줄 요약

이 연구는 폐 SBRT 동안 실시간 3D 볼륨 CT 영상을 단일 2D X선 투과 영상에서 재구성하기 위해 감각적 및 적대적 감독을 통한 딥러닝 기반 생성적 적대적 네트워크인 TransNet을 제안한다. 네 가지 투과 각도에서 평균 MAE 99.3±14.1 HU, NMAE 0.032±0.007, PSNR 23.4±2.2 dB, SSIM 0.949±0.012를 달성하여 현장 실시간 운동 관리의 가능성 입증.

ABSTRACT

Due to the inter- and intra- variation of respiratory motion, it is highly desired to provide real-time volumetric images during the treatment delivery of lung stereotactic body radiation therapy (SBRT) for accurate and active motion management. In this proof-of-concept study, we propose a novel generative adversarial network integrated with perceptual supervision to derive instantaneous volumetric images from a single 2D projection. Our proposed network, named TransNet, consists of three modules, i.e., encoding, transformation and decoding modules. Rather than only using image distance loss between the generated 3D images and the ground truth 3D CT images to supervise the network, perceptual loss in feature space is integrated into loss function to force the TransNet to yield accurate lung boundary. Adversarial supervision is also used to improve the realism of generated 3D images. We conducted a simulation study on 20 patient cases, who had received lung SBRT treatments in our institution and undergone 4D-CT simulation, and evaluated the efficacy and consistency of our method for four different projection angles, i.e., 0, 30, 60 and 90 degree. For each 3D CT image set of a breathing phase, we simulated its 2D projections at these angles.Then for each projection angle, a patient's 3D CT images of 9 phases and the corresponding 2D projection data were used for training, with the remaining phase used for testing. The mean absolute error, normalized MAE, peak signal-to-noise ratio and structural similarity index metric achieved by our method are 99.3 HU, 0.032, 23.4 dB and 0.949, respectively. These results demonstrate the feasibility and efficacy of our 2D-to-3D method for lung cancer patients, which provides a potential solution for in-treatment real-time on-board volumetric imaging for accurate dose delivery to ensure the effectiveness of lung SBRT treatment.

연구 동기 및 목표

• 호흡 운동 변동성으로 인해 폐 SBRT 동안 실시간 볼륨 영상 촬영에 도전하는 문제를 해결하기 위해.
• 해부학적 겹침과 종양 시각화 제한으로 인해 영향을 받는 2D 투과 영상의 한계를 극복하기 위해.
• 현장 영상 시스템을 활용하여 단일 2D 투과 영상에서 3D 볼륨 영상을 재구성하는 딥러닝 기반 방법을 개발하기 위해.
• 조건부 GAN 아키텍처 내에서 감각적 및 적대적 감독을 통해 영상 품질과 폐 경계 정확도를 향상시키기 위해.
• 시뮬레이션 연구에서 네 가지 투과 각도(0°, 30°, 60°, 90°) 간에 방법의 강인성과 일관성을 검증하기 위해.

제안 방법

• 제안된 방법인 TransNet는 인코딩, 변환, 디코딩의 세 가지 모듈을 갖춘 조건부 생성적 적대적 네트워크(cGAN)이다.
• 감각적 손실은 사전 훈련된 SegNet을 사용하여 특징 표현을 감독하기 위해 손실 함수에 통합되어 폐 경계 정확도를 향상시킨다.
• 적대적 손실은 실제 3D CT 볼륨과 구별하여 생성된 3D 영상의 현실성 향상에 사용된다.
• 네트워크는 20명의 환자 4D-CT 자료를 기반으로 훈련되었으며, 환자당 9개의 호흡 단계는 훈련에, 10번째 단계는 테스트에 사용되었다.
• 훈련을 위해 레이 트레이싱을 사용하여 3D CT 영상에서 네 가지 각도(0°, 30°, 60°, 90°)의 시뮬레이션 2D 투과 영상을 생성하였다.
• 환자별 4D-CT 자료와 시뮬레이션 투과 영상을 활용하여 단일 2D 투과 영상에서 3D 해부학적 영상을 재구성할 수 있는 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 단일 2D X선 투과 영상로 실시간 폐 SBRT 가이던스를 위한 정확한 3D 볼륨 CT 영상을 재구성할 수 있는가?
• RQ2 감각적 감독은 2D 투과 영상에서 3D 영상 생성 시 폐 경계 재현 정확도를 어떻게 향상시키는가?
• RQ3 제안된 방법의 성능은 다양한 투과 각도(0°, 30°, 60°, 90°)에서 어떻게 나타나는가?
• RQ4 적대적 손실의 통합은 표준 GAN과 비교해 생성된 3D 영상의 현실성 향상에 어떻게 기여하는가?
• RQ5 다양한 호흡 운동과 환자 해부학적 특성 하에서 방법은 강인성과 일관성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 모든 투과 각도에서 평균 절대 오차(MAE) 99.3±14.1 허프만 단위(HU)를 달성하였다.
• 정규화된 MAE(NMAE)는 0.032±0.007로 HU 범위 대비 높은 재구성 정확도를 나타내었다.
• 피크 신호 대 노이즈 비율(PSNR)은 23.4±2.2 dB에 도달하여 양호한 영상 품질과 노이즈 내성성을 반영하였다.
• 구조적 유사도 지수-SSIM는 0.949±0.012로 생성된 영상과 기준 영상 간의 높은 구조적 유사성을 나타내었다.
• 앞뒤 투과 영상(0°)에서 가장 우수한 성능을 보였으며, 평균 NMAE 0.029와 평균 SSIM 0.956를 기록하여 이 각도에서 최적의 영상 품질을 확보하였다.
• 감각적 감독은 시각적 및 정량적 비교를 통해 폐 경계 세부 정보에 대한 민감도 향상을 뚜렷하게 향상시켰다.