[논문 리뷰] A Multi-Stage GAN for Multi-Organ Chest X-ray Image Generation and Segmentation

Giorgio Ciano|arXiv (Cornell University)|2021. 11. 14.

Radiomics and Machine Learning in Medical Imaging참고 문헌 50인용 수 25

한 줄 요약

이 논문은 정확한 의미 분할 레이블이 함께 있는 합성 다장기 흉부 X선 영상을 생성하기 위한 삼단계 GAN 프레임워크를 제안한다. 먼저 해부학적 '점들'을 생성한 후, 레이블 매핑을 생성하고, 마지막으로 PGGAN과 pix2pixHD를 사용한 점진적 정련을 통해 X선 영상을 생성함으로써, 단지 훈련 데이터의 10%만으로도 기존의 단일 및 이중 단계 기준선보다 우수한 의미 분할 성능을 달성한다.

ABSTRACT

Multi-organ segmentation of X-ray images is of fundamental importance for computer aided diagnosis systems. However, the most advanced semantic segmentation methods rely on deep learning and require a huge amount of labeled images, which are rarely available due to both the high cost of human resources and the time required for labeling. In this paper, we present a novel multi-stage generation algorithm based on Generative Adversarial Networks (GANs) that can produce synthetic images along with their semantic labels and can be used for data augmentation. The main feature of the method is that, unlike other approaches, generation occurs in several stages, which simplifies the procedure and allows it to be used on very small datasets. The method was evaluated on the segmentation of chest radiographic images, showing promising results. The multi-stage approach achieves state-of-the-art and, when very few images are used to train the GANs, outperforms the corresponding single-stage approach.

연구 동기 및 목표

• 흉부 X선 영상 분할을 위한 딥 러닝 모델 훈련을 위한 레이블이 부여된 의료 영상의 부족 문제를 해결한다.
• 의료 영상에서 제한된 레이블이 부여된 데이터에 도전하기 위해 합성된 고품질의 훈련 데이터를 생성한다.
• 해부학적 정확성을 유지하면서 분할 성능을 향상시키는 데이터 증강 전략을 개발한다.
• 특히 소규모 데이터셋에서 단일 또는 이중 단계 접근 방식보다 다단계 생성 과정이 더 효과적임을 입증한다.

제안 방법

• 이 방법은 삼단계 GAN 파이프라인을 사용한다: 먼저 해부학적 부분의 위치를 '점들'로 생성하고, 그 다음 점들을 pix2pixHD를 사용해 의미 레이블 매핑으로 변환한 후, 마지막으로 레이블 매핑에서 전체 X선 영상을 생성한다.
• 초기 단계에서는 점진적 성장 GAN(PGGAN)을 사용해 저해상도 해부학적 점 매핑을 생성한다.
• 두 번째 및 세 번째 단계에서 pix2pixHD를 적용하여 점에서 레이블 매핑으로, 그리고 레이블 매핑에서 X선 영상으로의 조건부 이미지 간 이미지 변환을 수행한다.
• 각 단계는 별도로 훈련되므로 하위 작업에 필요한 데이터 요구량을 줄이고 훈련을 단순화한다.
• 이 프레임워크는 다양한 현실적인 합성 영상과 정확한 분할 마스크를 함께 생성함으로써 데이터 증강을 가능하게 한다.
• 이 방법은 모듈식이며 확장 가능하여 다른 해부학적 구조나 영상 모odalities로의 적용도 가능하다.

실험 결과

연구 질문

• RQ1 제한된 실재 데이터에서 다단계 GAN 프레임워크가 정확한 의미 분할 마스크를 가진 현실적인 다장기 흉부 X선 영상을 생성할 수 있는가?
• RQ2 점 → 레이블 매핑 → 영상의 단계별 생성 방식이 종단 간 생성 방식보다 성능 향상에 기여하는가?
• RQ3 단지 훈련 데이터의 10%만을 사용할 경우, 제안된 방법이 단일 및 이중 단계 기준선 대비 분할 정확도에서 어떻게 비교되는가?
• RQ4 의사들은 실제 마스크와 생성된 마스크를 신뢰성 있게 구분할 수 있으며, 생성된 출력은 임상적 기대에 부합하는가?

주요 결과

• 삼단계 방법은 다장기 흉부 X선 영상 분할을 위한 SCR 벤치마크 데이터셋에서 최고 성능을 달성했다.
• 데이터셋의 10%만으로 훈련된 삼단계 접근 방식이 분할 정확도에서 이중 단계 및 단일 단계 기준선을 모두 앞섰다.
• 의사 평가 결과 생성된 분할 마스크의 품질이 매우 높았으며, 어려운 케이스에서는 전문가들이 모델의 출력을 실제 마스크보다 더 선호하는 경우가 많았다.
• 정성 평가에서 의사들은 생성된 분할이 특히 심장과 폐의 경계를 더 잘 유지하고 있음을 지적했다.
• 고도로 어려운 분할 케이스에서도 이 방법은 강건성과 임상적 타당성을 입증했으며, 전문가들의 일치된 평가를 통해 영상 품질이 우수하다는 점이 확인되었다.
• 다단계 설계가 소규모 데이터셋에서 성능 향상에 크게 기여했으며, 단계별 생성이 복잡성을 감소시키고 학습 효율성을 향상시킨다는 가설을 검증했다.