[논문 리뷰] XRayGAN: Consistency-preserving Generation of X-ray Images from Radiology Reports

Xingyi Yang, Nandiraju Gireesh외 2명|arXiv (Cornell University)|2020. 06. 17.

Multimodal Machine Learning Applications참고 문헌 35인용 수 4

한 줄 요약

XRayGAN은 시각 일致성, 고해상도 및 고정밀도 X-ray 영상을 방사선 검사 보고서에서 생성하기 위해 시각 일치 네트워크, 다중 척도 점진적 GAN 및 계층적 주의 메커니즘 인코더를 사용한다. 이는 기준 모델 대비 뛰어난 영상 품질과 임상 일관성을 달성하여 임상 텍스트에서 의료 영상 생성의 새로운 기준을 설정한다.

ABSTRACT

To effectively train medical students to become qualified radiologists, a large number of X-ray images collected from patients with diverse medical conditions are needed. However, due to data privacy concerns, such images are typically difficult to obtain. To address this problem, we develop methods to generate view-consistent, high-fidelity, and high-resolution X-ray images from radiology reports to facilitate radiology training of medical students. This task is presented with several challenges. First, from a single report, images with different views (e.g., frontal, lateral) need to be generated. How to ensure consistency of these images (i.e., make sure they are about the same patient)? Second, X-ray images are required to have high resolution. Otherwise, many details of diseases would be lost. How to generate high-resolutions images? Third, radiology reports are long and have complicated structure. How to effectively understand their semantics to generate high-fidelity images that accurately reflect the contents of the reports? To address these three challenges, we propose an XRayGAN composed of three modules: (1) a view consistency network that maximizes the consistency between generated frontal-view and lateral-view images; (2) a multi-scale conditional GAN that progressively generates a cascade of images with increasing resolution; (3) a hierarchical attentional encoder that learns the latent semantics of a radiology report by capturing its hierarchical linguistic structure and various levels of clinical importance of words and sentences. Experiments on two radiology datasets demonstrate the effectiveness of our methods. To our best knowledge, this work represents the first one generating consistent and high-resolution X-ray images from radiology reports. The code is available at https://github.com/UCSD-AI4H/XRayGAN.

연구 동기 및 목표

• 데이터 기밀 보호 제약으로 인해 다양하고 고품질의 X-ray 영상이 부족한 문제를 해결하기 위해.
• 단일 방사선 검사 보고서에서 전면 및 측면 영상의 임상적으로 일관된 X-ray 영상을 생성하기 위해.
• 보고서에 기술된 복잡한 임상 소견을 정확하게 반영하는 고해상도 및 고정밀도 X-ray 영상을 생성하기 위해.
• 방사선 검사 보고서의 계층적 언어적 구조와 단어 및 문장의 임상적 중요성을 모델링하기 위해.
• 특히 X-ray 합성 분야에서 텍스트-이미지 생성의 새로운 기준을 설정하기 위해.

제안 방법

• 실제로 쌍으로 제공된 전면 및 측면 X-ray 영상에서 시각 일치 네트워크(VCN)를 학습시켜 생성된 영상가 동일한 환자를 반영하도록 한다.
• 다중 척도 조건부 GAN이 저해상도 출력에서 시작하여 단계적으로 고해상도 X-ray 영상을 점진적으로 생성한다.
• 단어 수준 및 문장 수준의 LSTM과 주의 메커니즘을 사용한 계층적 주의 메커니즘 인코더는 방사선 검사 보고서의 의미 계층과 임상적 관련성을 모델링한다.
• 생성기는 보고서의 잠재 표현에 조건을 두며, VCN 손실은 전면 및 측면 영상 간의 일관성을 유도한다.
• GAN 학습 중 VCN을 정규화 요소로 통합하여 해부학적 일관성을 증진시킨다.
• 모델은 두 개의 방사선 영상 데이터셋에서 학습 및 평가되어 영상 품질과 일관성 측면에서 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델은 단일 방사선 검사 보고서에서 전면 및 측면 X-ray 영상을 일관성 있게 생성할 수 있는가?
• RQ2 긴 복잡한 방사선 검사 보고서에서 고해상도 및 고정밀도 X-ray 영상을 어떻게 생성할 수 있는가?
• RQ3 계층적 주의 메커니즘이 보고서 의미와 생성된 영상 콘텐츠 간의 일치도를 얼마나 향상시킬 수 있는가?
• RQ4 시각 일치 네트워크를 통합함으로써 생성된 X-ray 영상의 임상적 타당성은 얼마나 향상되는가?
• RQ5 제안된 방법은 기존의 텍스트-이미지 생성 모델 대비 임상적으로 정확한 X-ray 영상을 생성하는 데서 슈퍼리어한 성능을 보일 수 있는가?

주요 결과

• XRayGAN은 전면 및 측면 X-ray 영상에서 뚜렷한 해부학적 구조(예: 폐, 갈비뼈)를 유지하면서도 빌드된 영상 간에 높은 시각 일관성을 보인다.
• 기준 모델인 GAN-INT-CLS, StackGAN, AttnGAN 대비 이미지 선명도에서 뛰어난 성능을 보이며, XRayGAN은 더 선명한 갈비뼈 윤곽과 더 정확한 병변 표현을 제공한다.
• 시각적 검토를 통해 XRayGAN이 생성한 영상은 보고서에 기재된 임상 소견(예: 우측 상부 림프절의 투명도 감소, 좌측 뒷부분 제5 갈비뼈)을 정확히 반영하고 있음을 확인하였다.
• 시각 일치 네트워크는 영상 일관성에 크게 기여하며, 기준 모델은 전면 및 측면 영상 간의 정렬을 유지하지 못하는 것으로 나타났다.
• 다중 척도 점진적 GAN 설계 덕분에 단일 단계 GAN보다 더 높은 해상도의 영상 생성과 품질 향상이 가능했다.
• 두 데이터셋에서의 정량적 평가 결과, XRayGAN은 영상 품질과 일관성 측면에서 최신 기술 수준의 성능을 달성했으며, FID 및 Inception Score 지표에서 뛰어난 성능을 보였다.