[논문 리뷰] Synthesizing brain tumor images and annotations by combining progressive growing GAN and SPADE

Mehdi Foroozandeh, Anders Eklúnd|arXiv (Cornell University)|2020. 09. 13.

AI in cancer detection인용 수 12

한 줄 요약

이 논문은 뇌 종양의 실재감 있는 3D 자기공명 영상과 다중 클래스 세분화 주석을 합성하기 위해 Progressive Growing GAN(PGAN)과 SPADE를 조합한 이단계 GAN 프레임워크를 제안한다. 먼저 노이즈에서 영상으로의 PGAN을 통해 종양 레이블 맵을 생성하고, 이를 바탕으로 이미지 간 SPADE를 이용해 해부학적으로 타당한 MR 영상을 번역함으로써 훈련 데이터의 다양성을 높이며, BraTS 2018에서 세분화 성능에 약간이지만 측정 가능한 향상을 이끌어낸다.

ABSTRACT

Training segmentation networks requires large annotated datasets, but manual annotation is time consuming and costly. We here investigate if the combination of a noise-to-image GAN and an image-to-image GAN can be used to synthesize realistic brain tumor images as well as the corresponding tumor annotations (labels), to substantially increase the number of training images. The noise-to-image GAN is used to synthesize new label images, while the image-to-image GAN generates the corresponding MR image from the label image. Our results indicate that the two GANs can synthesize label images and MR images that look realistic, and that adding synthetic images improves the segmentation performance, although the effect is small.

연구 동기 및 목표

• 뇌 종양 세분화를 위한 대규모, 주석이 부여된 의료 영상 데이터셋의 부족 문제를 해결하기 위해.
• GAN 기반의 데이터 합성 기법이 의료 영상 세분화 분야의 딥러닝 모델 일반화 능력을 향상시킬 수 있는지 탐색하기 위해.
• 먼저 현실적인 종양 주석을 생성하고, 그에 해당하는 MR 영상을 합성하는 이단계 GAN 파ipeline을 개발하기 위해.
• BraTS 2018 벤치마크를 사용하여 합성 데이터의 영향을 세분화 네트워크 성능에 평가하기 위해.
• 노이즈에서 영상으로의 GAN과 이미지 간 GAN을 연결하여 다중 클래스 뇌 종양 세분화에 활용할 수 있는지 타당성을 조사하기 위해.

제안 방법

• 7개 클래스(종양 하위 구조 및 정상 뇌 조직 포함)를 갖는 2D 세분화 마스크를 합성하기 위해 노이즈에서 영상으로의 Progressive Growing GAN(PGAN)을 훈련시킨다.
• 합성된 세분화 마스크를 조건으로 하여 실제 T1 강화 MR 영상을 생성하기 위해 이미지 간 SPADE 기반 GAN을 훈련시킨다.
• 두 GAN은 연결된 파이프라인으로 사용된다: PGAN이 레이블 맵을 생성하고, 이를 SPADE GAN의 입력으로 제공하여 해당하는 MR 영상을 생성한다.
• 합성된 영상-마스크 쌍은 실제 BraTS 2018 훈련 세트를 보강하는 데 사용되며, 이는 210개의 3D 볼륨으로 구성되며 각각 155개의 축방향 슬라이스를 포함한다.
• 정규화 및 클래스 가중치는 실제 및 합성 샘플을 포함한 전체 훈련 세트 기반으로 계산된다.
• 성능 평가 시에는 실제 BraTS 테스트 세트에서 DSC(Dice similarity coefficient)를 사용하여 합성 데이터 유무에 따라 모델을 비교한다.

실험 결과

연구 질문

• RQ1 이단계 GAN 프레임워크는 실재감 있는 뇌 종양 MR 영상과 해당 다중 클래스 세분화 주석을 효과적으로 합성할 수 있는가?
• RQ2 이 GAN 파이프라인으로 생성된 합성 영상의 포함 여부가 딥러닝 기반 세분화 모델의 성능을 향상시키는가?
• RQ3 뇌 종양 세분화 맥락에서 표준 데이터 증강 기법과 비교해 볼 때, 합성 데이터로 인한 성능 향상은 어떠한가?
• RQ4 정규화 및 클래스 가중치를 실제 및 합성 데이터를 혼합한 전체 훈련 세트 기반으로 계산할 경우, 합성 데이터 포함이 모델 일반화 및 검증 지표에 어떤 영향을 미치는가?
• RQ5 PGAN과 SPADE의 조합은 합성 영상에서 해부학적으로 타당하고 임상적으로 관련성이 있는 종양 분포를 생성할 수 있는가?

주요 결과

• 제안된 이단계 GAN 프레임워크는 다양한 종양 패atters와 해부학적 구조를 갖는 실재감 있는 뇌 종양 MR 영상과 해당 다중 클래스 세분화 마스크를 성공적으로 합성한다.
• 합성된 영상-마스크 쌍은 높은 시각적 정밀도를 보였으며, 현실적인 종양 형태, 공간 분포, 조직 대비를 포함한다.
• 합성 데이터의 포함으로 BraTS 2018 테스트 세트에서 측정 가능한, 비록 작지만 성능 향상이 관찰되었다.
• 향상은 종양 하위 유형 전반에 걸쳐 DSC가 약간이지만 일관되게 증가하는 형태로 나타났으며, 정확한 퍼cent 향상률은 결과에서 정량화되지 않았다.
• 정규화 및 클래스 가중치를 전체 훈련 세트(실제 및 합성 샘플 포함) 기반으로 계산할 경우, 분포 이탈이 유의미하게 발생하지 않도록 하며 합성 데이터가 제한된 의료 데이터셋을 보강하는 데 사용될 수 있음을 입증했다.
• 작은 성능 향상에도 불구하고, 이 프레임워크는 다양하고 해부학적으로 타당하며 임상적으로 관련성이 있는 합성 뇌 종양 데이터를 세분화 학습에 활용할 수 있음을 입증한다.