[論文レビュー] Assessing Intra-class Diversity and Quality of Synthetically Generated Images in a Biomedical and Non-biomedical Setting

Muhammad Saad, Mubashir Husain Rehmani+1 more|arXiv (Cornell University)|Jul 23, 2023

Advanced Image Processing TechniquesComputer Science被引用数 3

ひとこと要約

本研究では、MS-SSIM、コサイン距離（CD）、Frechet Inception Distance（FID）を用いて、生体医療（レントゲン、OCT）および非生体医療（Fashion MNIST）の設定下で、合成画像のクラス内多様性と品質を評価した。結果として、画像特徴が異なるため、画像モダリティごとに指標のばらつきが顕著に現れ、サンプルサイズがスコアに顕著な影響を及ぼさないことが判明した。これは、GANの性能と評価の面でモダリティ依存性が顕著であることを示唆している。

ABSTRACT

In biomedical image analysis, data imbalance is common across several imaging modalities. Data augmentation is one of the key solutions in addressing this limitation. Generative Adversarial Networks (GANs) are increasingly being relied upon for data augmentation tasks. Biomedical image features are sensitive to evaluating the efficacy of synthetic images. These features can have a significant impact on metric scores when evaluating synthetic images across different biomedical imaging modalities. Synthetically generated images can be evaluated by comparing the diversity and quality of real images. Multi-scale Structural Similarity Index Measure and Cosine Distance are used to evaluate intra-class diversity, while Frechet Inception Distance is used to evaluate the quality of synthetic images. Assessing these metrics for biomedical and non-biomedical imaging is important to investigate an informed strategy in evaluating the diversity and quality of synthetic images. In this work, an empirical assessment of these metrics is conducted for the Deep Convolutional GAN in a biomedical and non-biomedical setting. The diversity and quality of synthetic images are evaluated using different sample sizes. This research intends to investigate the variance in diversity and quality across biomedical and non-biomedical imaging modalities. Results demonstrate that the metrics scores for diversity and quality vary significantly across biomedical-to-biomedical and biomedical-to-non-biomedical imaging modalities.

研究の動機と目的

• 生体医療および非生体医療ドメインにおける合成画像のクラス内多様性と品質指標に与えるサンプルサイズの影響を調査すること。
• レントゲンおよび光学干渉断層画像法（OCT）という2つの生体医療画像モダリティ間における多様性および品質指標スコアの不一致を評価すること。
• 生体医療および非生体医療画像ドメイン間で合成画像を比較した際の評価指標スコアのばらつきを分析すること。
• 標準指標（MS-SSIM、CD、FID）が多様な画像文脈におけるGAN生成画像の評価にどの程度信頼できるか、実証的知見を提供すること。
• 画像固有の特徴が指標性能に与える影響を強調し、合成生体医療データのより良い評価戦略の立案に寄与すること。

提案手法

• 生体医療（レントゲン、OCT）および非生体医療（Fashion MNIST）データセットを対象に、深層畳み込みネットワークGAM（DCGAN）を用いて合成画像を生成した。
• クラス内多様性を測定するために、マルチスケール構造的類似性指数測定（MS-SSIM）およびコサイン距離（CD）を用いた。
• 生成画像の知覚的品質および実画像との分布類似性を評価するために、Frechet Inception Distance（FID）を適用した。
• 訓練データ量の変動（25%、50%、75%、100%）を想定し、指標のデータ量への感受性を評価した。
• 画像モダリティ内および跨いで、実画像と合成画像の指標スコアを比較し、性能の差を検出した。
• 異なる画像クラスおよびモダリティにおけるスコア分布を分析し、多様性および品質に関するモダリティ固有のパターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 サンプルサイズを変化させた場合、生体医療および非生体医療設定下における合成画像のクラス内多様性および品質スコアにどのような影響が生じるか？
• RQ2 X線およびOCTモダリティにおいて、合成画像と実画像のMS-SSIMおよびCDスコアはどの程度異なるか？
• RQ3 FIDスコアは、異なる生体医療および非生体医療画像クラスでどのように変動し、その変動の背景には何があるか？
• RQ4 画像固有の特徴（例：テクスチャ、輝度、構造）が、多様性および品質指標の信頼性に与える影響は何か？
• RQ5 生体医療と非生体医療画像ドメインを跨いで合成画像を評価する際、指標性能に体系的な差異が生じるか？

主な発見

• MS-SSIMおよびCDスコアは、生体医療および非生体医療画像の両方において、サンプルサイズの変化に伴い顕著なばらつきを示さず、データ量に依存しない指標の安定性を示した。
• 合成X線画像は、実X線画像よりも高いMS-SSIMおよびCDスコアを示し、クラス内多様性が優れていることが示された。
• 合成OCT画像は、実OCT画像よりも低いMS-SSIMおよびCDスコアを示し、OCTの複雑な特徴を捉えるのが困難であることが示された。
• FIDスコアは、顕著な画像特徴の違いに起因し、画像モダリティごとに顕著に変動し、クラス間で一貫した傾向は認められなかった。
• MS-SSIM、CD、FIDスコアの分布は、生体医療（X線、OCT）と非生体医療（Fashion MNIST）画像の間で顕著に異なり、モダリティ固有の特徴の複雑さを反映していた。
• DCGANのアーキテクチャは、OCTの高い特徴多様性と複雑さを考慮すると、X線画像に比べて合成画像の多様性および品質を生成する上で劣っていることが判明した。