[논문 리뷰] MammoGANesis: Controlled Generation of High-Resolution Mammograms for Radiology Education

Cyril Zakka, Ghida Saheb외 2명|arXiv (Cornell University)|2020. 10. 11.

AI in cancer detection참고 문헌 22인용 수 7

한 줄 요약

이 논문은 전반적인(예: 시야, 유방 밀도) 및 국소적(예: 석회화, 종양) 특성에 대해 분리 제어가 가능한 스타일 기반 GAN 기반의 MammoGANesis를 제안한다. 이 모델은 네 명의 전문 방사선의사가 참여한 双점검 테스트에서 평균 AUC 0.54를 기록하여 생성된 이미지가 실제 이미지와 시각적으로 구별되지 않음을 보여주며, 방사선학 교육 및 합성 데이터 생성 분야에서 강력한 잠재력을 보임.

ABSTRACT

During their formative years, radiology trainees are required to interpret hundreds of mammograms per month, with the objective of becoming apt at discerning the subtle patterns differentiating benign from malignant lesions. Unfortunately, medico-legal and technical hurdles make it difficult to access and query medical images for training. In this paper we train a generative adversarial network (GAN) to synthesize 512 x 512 high-resolution mammograms. The resulting model leads to the unsupervised separation of high-level features (e.g. the standard mammography views and the nature of the breast lesions), with stochastic variation in the generated images (e.g. breast adipose tissue, calcification), enabling user-controlled global and local attribute-editing of the synthesized images. We demonstrate the model's ability to generate anatomically and medically relevant mammograms by achieving an average AUC of 0.54 in a double-blind study on four expert mammography radiologists to distinguish between generated and real images, ascribing to the high visual quality of the synthesized and edited mammograms, and to their potential use in advancing and facilitating medical education.

연구 동기 및 목표

• 의료-법적 및 개인정보 보호 제약으로 인해 방사선학 교육에서 접근하기 어려운 고품질의 유방 조영 사진 학습 데이터 부족 문제를 해결하기 위해.
• 통제 가능하고 분리된 특성을 가진 실재감 있는 고해상도(512×512) 유방 조영 사진을 생성할 수 있는 생성 모델을 개발하기 위해.
• 교육 목적을 위해 전반적인(예: 시야, 유방 밀도) 및 국소적(예: 석회화, 종양) 이미지 특성을 사용자 제어로 편집할 수 있도록 하기 위해.
• 전문 방사선의사가 참여한 이중점검 연구를 통해 생성된 유방 조영 사진의 시각적 정밀도를 평가하여 현실성과 임상적 관련성을 점검하기 위해.

제안 방법

• AUBMC의 52장의 실재 유방 조영 사진으로 구성된 익명화된 데이터셋을 이용해 IRB 승인을 받은 스타일 기반 GAN(StyleGAN2)을 훈련시킴.
• StyleGAN2의 분리된 잠재 공간을 활용하여 주성분 분석을 통해 W-잠재 공간에서 전반적 특성(예: MLO 시야, 유방 밀도)을 독립적으로 제어함.
• 합성 네트워크의 특정 레이어를 조작하여 석회화, 종양 등의 국소적 특성을 편집함과 동시에 해부학적 일관성을 유지함.
• 모든 샘플에 대해 0.65의 트렁케이션 값으로 트렁케이션 재정의를 적용하여 생성 안정성 향상 및 샘플 품질 향상.
• 평가를 위한 최종 데이터셋을 구성하기 위해 31장의 합성 및 17장의 편집된 유방 조영 사진을 생성함.
• 실제 이미지와의 구별 여부를 평가하기 위해 네 명의 전문 방사선의사가 참여한 이중점검 시각 테스트를 실시함. 이는 이진 분류 및 이미지 식별 작업을 포함함.

실험 결과

연구 질문

• RQ1 GAN 모델이 전문 방사선의사조차도 시각적으로 구별할 수 없을 정도로 고해상도(512×512)의 유방 조영 사진을 생성할 수 있는가?
• RQ2 전반적 및 국소적 이미지 특성(예: 시야, 유방 밀도, 석회화)이 생성된 유방 조영 사진에서 얼마나 잘 분리되고 독립적으로 편집될 수 있는가?
• RQ3 모델은 미세한 석회화나 종양과 같은 희귀하거나 복잡한 병적 특성을 통제되고 현실적으로 시뮬레이션할 수 있는가?
• RQ4 경험이 풍부한 방사선의사들이 이중점검 평가에서 생성된 이미지를 실제로 구분할 수 있는가?

주요 결과

• 모델은 다양한 해부학적 및 병리적 특성을 가진 512×512 유방 조영 사진을 성공적으로 생성하였으며, 모드 붕괴의 징후가 전혀 없었음.
• 이진 분류 작업에서 네 명의 전문 방사선의사 평균 AUC는 0.54였으며, 이는 실제 이미지와 생성 이미지를 구별하는 데 랜덤 추측 수준 이하의 성능을 의미함.
• 방사선의사 2는 AUC 0.74를 기록하였고, 방사선의사 3 및 4는 랜덤 수준 이하(AUC < 0.5)의 성능을 보였으며, 전문가 간 인식의 다양성이 드러남.
• 이미지 식별 작업에서 평균 성능 지속 시간은 5.75라운드였고, 대부분의 방사선의사가 세 번의 잘못된 답변 이내에 생성 이미지를 식별하지 못함.
• 방사선의사 2는 14라운드까지 버티며 일부 개인이 장시간 심층 분석을 통해 잠재적인 아티팩트나 일관성 없는 요소를 감지할 수 있음을 시사함.
• 이산적 특성(예: 'CC' 대비 'MLO' 시야)의 연속 잠재 공간 매핑에 어려움이 있었음에도 불구하고, 모델은 시각적으로 일관되고 의학적으로 타당한 유방 조영 사진을 생성함.