[논문 리뷰] Vision-Language Generative Model for View-Specific Chest X-ray Generation

Hyungyung Lee, Lee, Da Young외 6명|arXiv (Cornell University)|2023. 02. 23.

AI in cancer detection인용 수 5

한 줄 요약

UniXGen은 이산적 시각 토큰과 특수한 뷰 제어 토큰을 사용하여 뷰별 흉부 X-ray와 영상의학 보고서를 생성하는 통합 시각-언어 모델이다. 다중 뷰 입력과 효율적인 Performer 기반 아키텍처를 활용함으로써 FID, BLEU 및 CheXpert 지표에서 피지컬 편집된 Stable Diffusion를 포함한 기준 모델을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

Synthetic medical data generation has opened up new possibilities in the healthcare domain, offering a powerful tool for simulating clinical scenarios, enhancing diagnostic and treatment quality, gaining granular medical knowledge, and accelerating the development of unbiased algorithms. In this context, we present a novel approach called ViewXGen, designed to overcome the limitations of existing methods that rely on general domain pipelines using only radiology reports to generate frontal-view chest X-rays. Our approach takes into consideration the diverse view positions found in the dataset, enabling the generation of chest X-rays with specific views, which marks a significant advancement in the field. To achieve this, we introduce a set of specially designed tokens for each view position, tailoring the generation process to the user's preferences. Furthermore, we leverage multi-view chest X-rays as input, incorporating valuable information from different views within the same study. This integration rectifies potential errors and contributes to faithfully capturing abnormal findings in chest X-ray generation. To validate the effectiveness of our approach, we conducted statistical analyses, evaluating its performance in a clinical efficacy metric on the MIMIC-CXR dataset. Also, human evaluation demonstrates the remarkable capabilities of ViewXGen, particularly in producing realistic view-specific X-rays that closely resemble the original images.

연구 동기 및 목표

• 실제 의료 영상 데이터의 부족성과 개인정보 보호 제약을 해결하기 위해 고해상도 합성 흉부 X-ray와 보고서를 생성한다.
• 양방향 흉부 X-ray와 영상의학 보고서 생성을 하나의 모델로 통합하여 아키텍처의 복잡성과 학습 오버헤드를 감소시킨다.
• 학습 데이터에 해당 뷰가 존재하지 않더라도 전용 특수 토큰을 통해 뷰별 X-ray 생성을 가능하게 한다.
• 다양한 뷰의 X-ray 입력을 활용하여 서로 보완적인 해부학적 소견을 포괄함으로써 생성 품질을 향상시킨다.
• 효율적인 트랜스포머(Performer)를 사용하여 고해상도 이미지와 장문의 보고서를 처리할 수 있는 계산 효율성이 높은 모델을 개발한다.

제안 방법

• VQ-GAN 기반 이미지 토크나이저를 사용하여 흉부 X-ray를 이산적 시각 토큰으로 분할함으로써 이미지 및 보고서 생성을 위한 시퀀스 모델링을 가능하게 한다.
• 통합 트랜스포머 기반 아키텍처를 사용하여 X-ray 및 보고서 생성을 모두 자동회귀 시퀀스 생성 작업으로 간주한다.
• 특정 뷰(예: PA, AP, 측면 뷰)를 위한 전용 특수 토큰을 도입하여, 학습 데이터에 존재하지 않더라도 원하는 뷰 유형에 조건부로 생성이 가능하도록 한다.
• 긴 입력 시퀀스(고해상도 이미지 및 장문의 보고서)를 처리할 수 있도록 계산 비용을 감소시킨 Performer 기반 트랜스포머 아키텍처를 활용한다.
• 단일 또는 다중 뷰 X-ray를 수용할 수 있는 유연한 입력 형식을 지원하며, 생성 과정에서 뷰 간 특징을 동적으로 융합한다.
• 이미지 및 보고서 생성 간의 정렬을 위해 대비 학습과 자동회귀 손실을 사용하여 통합 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 통합 시각-언어 모델이 하나의 아키텍처에서 뷰별 흉부 X-ray와 영상의학 보고서를 효과적으로 생성할 수 있는가?
• RQ2 뷰별 특수 토큰이 원하는 해부학적 뷰에 대해 생성된 X-ray의 정밀도와 정확도를 어느 정도 향상시키는가?
• RQ3 단일 뷰 입력에 비해 다중 뷰 입력이 생성된 X-ray와 보고서의 품질 및 임상 정확도에 어떤 영향을 미치는가?
• RQ4 동일한 학습 제약 조건 하에서 통합 모델이 작업별 특화 모델보다 이미지 및 보고서 생성에서 뛰어난 성능을 보일 수 있는가?
• RQ5 모델이 이미지 입력 없이 오직 영상의학 보고서에 조건을 줬을 때도 임상적으로 타당하고 현실적인 X-ray와 보고서를 생성할 수 있는가?

주요 결과

• UniXGen은 Fréchet Inception Distance (FID) 18.994를 달성하여 피지컬 펌웨어된 Stable Diffusion(FID 78.857)보다 흉부 X-ray 생성에서 뚜렷한 성능 향상을 보였다.
• 14가지 진단 분류 F1 스코어는 0.396으로 향상되었고 AUROC는 0.728로 상승하여 CheXpert 지표에서 기준 모델을 초월했다.
• 인간 평가 결과 UniXGen은 원본 이미지와 유사한 현실감(4.193/5)과 일치도(3.583/5)를 보였으며, 정확한 뷰 위치 생성에 100% 성공률를 기록했다.
• 다중 뷰 입력은 생성 품질을 향상시켰다: 추가 뷰가 사용될 경우 FID는 18.994에서 10.436으로 감소하고 F1 스코어는 0.396에서 0.416으로 상승했다.
• 뷰별 특수 토큰은 학습 데이터에 해당 뷰가 존재하지 않더라도 PA, AP 및 측면 뷰에 대해 정확한 해부학적 특징을 생성하는 데 성공했다.
• 정성적 사례 분석 결과, 다중 뷰 입력은 단일 보고서만을 사용할 때 놓치는 병변(예: 큰 흉막 출혈)의 더 정확한 표현을 가능하게 했다.