[논문 리뷰] Assessing Intra-class Diversity and Quality of Synthetically Generated Images in a Biomedical and Non-biomedical Setting

Muhammad Saad, Mubashir Husain Rehmani외 1명|arXiv (Cornell University)|2023. 07. 23.

Advanced Image Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 연구는 의료영상(X-ray, OCT) 및 비의료영상(Fashion MNIST) 환경에서 합성된 이미지의 반복 클래스 다양성과 품질을 MS-SSIM, 코사인 거리(CD), 프리셰 이너셉션 거리(FID)를 사용하여 평가한다. 결과적으로, 각 영상 모odal의 고유한 영상 특성으로 인해 다양한 지표 값이 발생하며, 샘플 크기의 영향은 유의미하지 않아, 모달에 따라 성능이 달라지는 GAN 평가의 도전 과제가 드러났다.

ABSTRACT

In biomedical image analysis, data imbalance is common across several imaging modalities. Data augmentation is one of the key solutions in addressing this limitation. Generative Adversarial Networks (GANs) are increasingly being relied upon for data augmentation tasks. Biomedical image features are sensitive to evaluating the efficacy of synthetic images. These features can have a significant impact on metric scores when evaluating synthetic images across different biomedical imaging modalities. Synthetically generated images can be evaluated by comparing the diversity and quality of real images. Multi-scale Structural Similarity Index Measure and Cosine Distance are used to evaluate intra-class diversity, while Frechet Inception Distance is used to evaluate the quality of synthetic images. Assessing these metrics for biomedical and non-biomedical imaging is important to investigate an informed strategy in evaluating the diversity and quality of synthetic images. In this work, an empirical assessment of these metrics is conducted for the Deep Convolutional GAN in a biomedical and non-biomedical setting. The diversity and quality of synthetic images are evaluated using different sample sizes. This research intends to investigate the variance in diversity and quality across biomedical and non-biomedical imaging modalities. Results demonstrate that the metrics scores for diversity and quality vary significantly across biomedical-to-biomedical and biomedical-to-non-biomedical imaging modalities.

연구 동기 및 목표

• 의료 및 비의료 도메인에서 합성 이미지의 내부 클래스 다양성 및 품질 지표에 대한 샘플 크기의 영향을 조사한다.
• X-ray 및 광학 간섭도상 영상(OCT)이라는 두 가지 의료 영상 모달 간의 다양성 및 품질 지표 점수의 일관성 없는 정도를 평가한다.
• 의료 및 비의료 영상 도메인 간 합성 이미지 비교 시 평가 지표 점수의 변동성을 분석한다.
• 표준 지표(MS-SSIM, CD, FID)가 다양한 영상 맥락에서 GAN으로 생성된 이미지를 평가하는 데 있어 신뢰성 있는지에 대한 경험적 통찰을 제공한다.
• 내재된 영상 특성(예: 질감, 밝기, 구조)이 다양성 및 품질 지표 성능에 미치는 영향을 강조하여, 합성 의료 데이터 평가 전략을 향상시키는 데 기여한다.

제안 방법

• 의료영상(X-ray, OCT) 및 비의료영상(Fashion MNIST) 데이터셋에서 합성 이미지를 생성하기 위해 딥 컨volution GAN(DCGAN)을 활용하였다.
• 합성 이미지의 내부 클래스 다양성을 측정하기 위해 다중 척도 구조적 유사도 지수 측정(MS-SSIM)과 코사인 거리(CD)를 사용하였다.
• 합성 이미지의 정성적 품질과 실제 이미지와의 분포 유사도를 평가하기 위해 프리셰 이너셉션 거리(FID)를 적용하였다.
• 학습 데이터 양의 변화에 민감도를 평가하기 위해 다양한 샘플 크기(25%, 50%, 75%, 100%)에서 지표를 평가하였다.
• 모달 내외에서 실제 이미지와 합성 이미지 간의 지표 점수를 비교하여 성능 격차를 탐지하였다.
• 다양한 영상 클래스 및 모달 간 점수 분포를 분석하여 다양성과 품질에 대한 모달 특화 패턴을 식별하였다.

실험 결과

연구 질문

• RQ1 샘플 크기가 의료 및 비의료 환경에서 합성 이미지의 내부 클래스 다양성 및 품질 점수에 어떤 영향을 미치는가?
• RQ2 X-ray 및 OCT 모달에서 합성 이미지와 실제 이미지 간의 MS-SSIM 및 CD 점수는 어느 정도 다를까?
• RQ3 FID 점수는 다양한 의료 및 비의료 영상 클래스 간에 어떻게 변동하며, 이러한 변동성의 원인은 무엇인가?
• RQ4 내재된 영상 특성(예: 질감, 밝기, 구조)이 다양성 및 품질 지표의 신뢰성에 어떤 영향을 미치는가?
• RQ5 의료 영상 대비 비의료 영상 도메인에서 합성 이미지 평가 시 지표 성능에 체계적인 차이가 존재하는가?

주요 결과

• 의료 및 비의료 영상 모두에서 MS-SSIM 및 CD 점수는 샘플 크기 변화에 대해 유의미한 변동이 없었으며, 이는 데이터 양에 관계없이 지표의 안정성을 시사한다.
• 합성 X-ray 이미지는 실제 X-ray 이미지보다 더 높은 MS-SSIM 및 CD 점수를 보여, 더 높은 내부 클래스 다양성을 나타내었다.
• 합성 OCT 이미지는 실제 OCT 이미지보다 낮은 MS-SSIM 및 CD 점수를 보여, 더 낮은 내부 클래스 다양성을 나타내었으며, 이는 OCT의 복잡한 특징을 포착하는 데 어려움이 있음을 시사한다.
• FID 점수는 영상 모달 간의 주요 영상 특성의 차이로 인해 유의미하게 변동되었으며, 클래스 간 일관된 추세는 없었다.
• 의료영상(X-ray, OCT)과 비의료영상(Fashion MNIST) 간 MS-SSIM, CD, FID 점수의 분포는 상당히 다름을 보였으며, 이는 모달 특화된 특징 복잡성의 영향을 반영한다.
• DCGAN 아키텍처는 OCT의 더 높은 특징 다양성과 복잡성으로 인해 X-ray에 비해 합성 이미지의 다양성과 품질을 생성하는 데 덜 효과적임을 발견하였다.