[論文レビュー] Diffusion-based Data Augmentation for Skin Disease Classification: Impact Across Original Medical Datasets to Fully Synthetic Images

Mohamed Akrout, Bálint Gyepesi+10 more|arXiv (Cornell University)|Jan 12, 2023

Cutaneous Melanoma Detection and Management被引用数 5

ひとこと要約

本稿では、皮膚疾患分類のための拡散ベースのデータ拡張手法を提案し、テキスト条件付き安定拡散モデルを用いて高精細な合成皮膚画像を生成する。実データで訓練された分類器と同等の精度を達成するが、わずかな性能低下にとどまり、合成データがプライバシー保護型医療AIの代替手段として有効であることを実証している。

ABSTRACT

Despite continued advancement in recent years, deep neural networks still rely on large amounts of training data to avoid overfitting. However, labeled training data for real-world applications such as healthcare is limited and difficult to access given longstanding privacy, and strict data sharing policies. By manipulating image datasets in the pixel or feature space, existing data augmentation techniques represent one of the effective ways to improve the quantity and diversity of training data. Here, we look to advance augmentation techniques by building upon the emerging success of text-to-image diffusion probabilistic models in augmenting the training samples of our macroscopic skin disease dataset. We do so by enabling fine-grained control of the image generation process via input text prompts. We demonstrate that this generative data augmentation approach successfully maintains a similar classification accuracy of the visual classifier even when trained on a fully synthetic skin disease dataset. Similar to recent applications of generative models, our study suggests that diffusion models are indeed effective in generating high-quality skin images that do not sacrifice the classifier performance, and can improve the augmentation of training datasets after curation.

研究の動機と目的

• 皮膚科分野におけるラベル付き医療データの不足に取り組むために、生成モデルを活用したデータ拡張を実施する。
• 医療分野におけるプライバシーとデータ共有の障壁を克服するため、患者の機密性を損なわず、合成データ生成を可能にする。
• 完全に合成された皮膚疾患画像で訓練された分類器が、実データで訓練された場合と同等の性能を示すかどうかを評価する。
• ドメインエキスパートの知見とモデルフィードバックを活用して、合成画像をキュレート・精錬するクローズドループパイプラインを構築する。
• テキスト条件付き拡散モデルの影響が、皮膚疾患分類における分類器のロバスト性と多様性を向上させるかどうかを調査する。

提案手法

• 6種の皮膚疾患（基底細胞癌、メラノーマ、光線性角化症、異型メラノサイト由来ネビス、レントゴ、脂漏性角化症）のクラス固有埋め込みを学習するため、テキストインバージョンを用いて安定拡散モデルをファインチューニングする。
• 「メラノーマ」などのテキストプロンプトを条件として、潜在空間内で多様で高精細な合成皮膚画像を生成する。
• 3つの学習データセットを構築：実データ小（250枚）、実データ（500枚）、ハイブリッド（250枚の実データ＋250枚の合成データ）、完全合成（500枚の合成画像）。
• スウィントランスフォーマー、エフェィシェントネットV2、レグネットZアーキテクチャを用い、検証損失に基づく早期停止を適用してアンサンブル分類器を訓練する。
• 各データセットごとに計算されたチャネル別平均および標準偏差を用いて、入力画像を正規化し、一貫性のある前処理を実施する。
• 3,582枚の実画像から成るホールドアウトテストセットを用いて、インフェレンス性能をトップ-k正解率（トップ-1からトップ-5）で評価する。

Figure 1 : Synthetic melanoma images generated by the stable diffusion model after fine-tuning it with melanoma images using the input text prompt “melanoma”.

実験結果

リサーチクエスチョン

• RQ1 テキスト条件付き拡散モデルは、深層学習分類器の学習に適した視覚的に現実的で高品質な皮膚疾患画像を生成できるか？
• RQ2 皮膚疾患分類において、完全に合成データで訓練した場合と実データで訓練した場合の分類器性能は、どのように比較できるか？
• RQ3 限られた実データのみで学習する場合と比較して、合成データを組み込むことで分類精度がどの程度向上するか？
• RQ4 実データが不足する状況において、合成データの使用が過学習を軽減し、一般化性能を向上させるか？
• RQ5 生成された合成画像は、データセットの多様性と品質を向上させるために、効果的にキュレートされ、クローズドループパイプラインで活用できるか？

主な発見

• 完全に合成データセットで訓練した分類器はトップ-1正解率47.29％を達成し、実データで訓練した場合の54.05％と比較してわずかに低い性能にとどまった。
• 完全に合成データセットにおけるトップ-5正解率は96.85％であり、実データでの96.96％と非常に近い結果を示し、強力な一般化能力を示している。
• 250枚の実画像（実データ小）のみで学習した場合でもトップ-1正解率は53.41％に達し、合成データがデータ不足を効果的に補填できることを示している。
• ハイブリッドデータセット（50％実データ、50％合成データ）はトップ-1正解率54.13％を達成し、実データのみのベースライン（54.05％）をわずかに上回った。
• 完全に合成データセットを用いることで、学習の収束が早くなった。これは、人間の知覚では識別できない差異要因が最適化ダイナミクスを改善した可能性がある。
• 臨床専門家は、合成画像が視覚的に妥当で臨床的に関連性があると確認しており、実世界の医療AI応用への活用が妥当であることを裏付けている。

Figure 3 : Summary of the four steps of the generation pipeline for skin disease data augmentation.