[논문 리뷰] Synthesis of Positron Emission Tomography (PET) Images via Multi-channel Generative Adversarial Networks (GANs)

Lei Bi, Jinman Kim외 3명|arXiv (Cornell University)|2017. 07. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 24

한 줄 요약

이 논문은 종양 영역의 정확한 위치와 해부학적 정보를 동시에 고려하여 병변 생성과 공간 일관성을 유도하는 다중채널 생성적 적대적 네트워크(M-GAN)를 제안한다. 이 방법은 실제 PET 영상과 유사한 고해상도의 합성 PET 스캔을 생성하며, 이를 사용해 종양 탐지 모델을 훈련시킬 경우 실제 데이터를 사용했을 때와 비교해 52.38%의 재현율을 달성한다(차이 2.79퍼센트포인트 이내). 이는 PET 기반 기계학습에서 훈련 데이터를 강화할 잠재력이 높음을 시사한다.

ABSTRACT

Positron emission tomography (PET) image synthesis plays an important role, which can be used to boost the training data for computer aided diagnosis systems. However, existing image synthesis methods have problems in synthesizing the low resolution PET images. To address these limitations, we propose multi-channel generative adversarial networks (M-GAN) based PET image synthesis method. Different to the existing methods which rely on using low-level features, the proposed M-GAN is capable to represent the features in a high-level of semantic based on the adversarial learning concept. In addition, M-GAN enables to take the input from the annotation (label) to synthesize the high uptake regions e.g., tumors and from the computed tomography (CT) images to constrain the appearance consistency and output the synthetic PET images directly. Our results on 50 lung cancer PET-CT studies indicate that our method was much closer to the real PET images when compared with the existing methods.

연구 동기 및 목표

• 온콜로지 분야에서 기계학습 모델 훈련을 위한 표본화된 PET 영상 데이터의 부족 문제를 해결하기 위해.
• 기존의 합성 PET 방법이 가지는 해부학적 정확도 저하 및 정확한 종양 영역 생성 불가 문제를 극복하기 위해.
• 종양 영상 레이블과 CT 영상을 통합하여 해부학적으로 일관되고 고집합도 PET 영상을 생성하는 통합된 딥러닝 프레임워크를 개발하기 위해.
• 합성 PET 데이터가 폐암 환자에서 종양 탐지 모델의 강건성 향상에 효과적으로 활용될 수 있는지 평가하기 위해.

제안 방법

• CT 영상과 종양 세그멘테이션 레이블을 입력으로 사용하는 다중채널 GAN 아키텍처를 도입하여 합성 PET 영상을 생성한다.
• 생성자와 판별자 간의 적대적 훈련을 통해 고수준의 의미적 표현을 학습하고 영상의 현실감을 향상시킨다.
• 레이블 정보를 통합하여 고집합도 영역(예: 종양)의 생성을 유도하고, CT 자료를 활용해 해부학적 일관성과 공간적 구조를 강제한다.
• 영상 품질을 확보하기 위해 생성자 훈련 시 인지적 손실 및 복원 손실(평균 절대 오차(MAE) 및 피크 신호 대 노이즈 비율(PSNR))을 최소화한다.
• 50개의 폐암 PET-CT 스캔에 대해 GAN을 적용하여 합성 데이터를 생성하고, 이를 사용해 종양 탐지용 완전 컨volution 네트워크(FCN)를 훈련시킨다.
• 교차검증을 통해 데이터를 훈련 및 테스트 세트로 분할하고, 한 세트에서 생성한 합성 데이터로 FCN를 훈련시키고, 다른 세트의 실제 영상으로 평가한다.

실험 결과

연구 질문

• RQ1 다중채널 GAN이 해부학적 구조와 종양 특이적 집합도 패턴을 유지하면서 현실적인 PET 영상을 효과적으로 합성할 수 있는가?
• RQ2 단일 입력 GAN과 비교해 CT와 종양 레이블을 모두 포함한 입력이 합성 PET 영상의 현실감과 일관성 향상에 어떤 기여를 하는가?
• RQ3 M-GAN으로 생성한 합성 PET 영상이 실제 데이터와 비교해 종양 탐지 모델의 성능 향상에 어느 정도 기여하는가?
• RQ4 이미지 품질과 후속 작업 성능 측면에서 M-GAN은 다른 GAN 변종(LB-GAN, CT-GAN 등)과 비교해 어떠한가?

주요 결과

• M-GAN는 모든 GAN 변종 중에서 가장 낮은 평균 절대 오차(MAE) 4.60과 가장 높은 피크 신호 대 노이즈 비율(PSNR) 28.06을 기록하여 우수한 영상 품질을 입증했다.
• M-GAN가 생성한 합성 PET 영상은 LB-GAN 및 CT-GAN에 비해 해부학적 정확도와 종양 정위가著히 뛰어나, 구조가 잘못 정렬되거나 병변이 누락되는 문제를 야기했다.
• M-GAN 합성 데이터로 훈련한 FCN 모델은 52.38%의 재현율을 달성했으며, 실제 PET 데이터로 훈련한 모델의 재현율(55.17%)과 비교해 2.79%포인트 이하로 낮은 성능이었다.
• M-GAN는 LB-GAN(44.06% 재현율)과 CT-GAN(3.69% 재현율)을 모두 능가했으며, 종양 레이블과 CT 자료를 함께 통합한 지도의 효과를 입증했다.
• M-GAN 프레임워크는 메디아스티넘과 같이 도전적인 해부학적 영역에서도 정확한 위치에 종양을 생성했으며, CT-GAN는 이 영역에서 실패했다.
• 결과적으로 M-GAN가 생성한 합성 데이터는 실제 데이터를 효과적으로 보완할 수 있으며, PET 기반의 컴퓨터 지원 진단 시스템의 훈련 향상에 기여할 수 있음을 시사한다.