[論文レビュー] Boosting Dermatoscopic Lesion Segmentation via Diffusion Models with Visual and Textual Prompts

Shiyi Du, Xiaosong Wang+6 more|arXiv (Cornell University)|Oct 4, 2023

Cutaneous Melanoma Detection and Management被引用数 4

ひとこと要約

本論文は、視覚的およびテキスト的プロンプトを活用して、正確な病変特徴を有する高精細な皮膚鏡画像を生成する、拡散モデルに基づくフレームワークを提案する。この手法により、皮膚病変のセグメンテーション性能が顕著に向上し、病変タイプ、形状、位置、特徴をプロンプトとして統合することで、従来のGANベースの手法に比べてSSIMで9%の向上、Dice係数で5%以上の改善が達成された。

ABSTRACT

Image synthesis approaches, e.g., generative adversarial networks, have been popular as a form of data augmentation in medical image analysis tasks. It is primarily beneficial to overcome the shortage of publicly accessible data and associated quality annotations. However, the current techniques often lack control over the detailed contents in generated images, e.g., the type of disease patterns, the location of lesions, and attributes of the diagnosis. In this work, we adapt the latest advance in the generative model, i.e., the diffusion model, with the added control flow using lesion-specific visual and textual prompts for generating dermatoscopic images. We further demonstrate the advantage of our diffusion model-based framework over the classical generation models in both the image quality and boosting the segmentation performance on skin lesions. It can achieve a 9% increase in the SSIM image quality measure and an over 5% increase in Dice coefficients over the prior arts.

研究の動機と目的

• 希少な病変タイプや特徴を有する注釈付き皮膚鏡画像の不足を補うために、多様で高品質な合成病変画像を生成すること。
• 病変固有の視覚的およびテキスト的プロンプトを統合することで、医用画像における画像生成の制御性を向上させること。
• 提案された生成フレームワークを用いたデータ拡張により、下流の皮膚病変セグメンテーション性能を向上させること。
• 拡散モデルが、正確な病変特徴を有するリアルな詳細な皮膚鏡画像を生成する点で、GANよりも優れていることを示すこと。
• スケーラブルなデータ拡張を可能にする、自動的な病変形状およびマスク生成モジュールの開発

提案手法

• 画像生成の基盤としてStable Diffusionモデルを採用し、病変のセグメンテーションマスク（視覚的プロンプト）および病変タイプと特徴（テキスト的プロンプト）を条件として用いる。
• ControlNetを用いて拡散プロセスをガイドし、画像生成中に病変の形状、位置、外観を正確に制御可能にする。
• 多様なサイズ、形状、解剖学的場所を有する病変セグメンテーションマスクを自動生成するモジュールを導入し、学習データを豊かにする。
• 公開の皮膚鏡データセット（ISIC）を用いてモデルを訓練し、ISIC 2017および2019の病変タイプと特徴情報をテキスト的プロンプトとして使用。
• 生成された画像を、Dice損失とU-Netベースのセグメンテーションネットワークを用いた下流の病変セグメンテーションのための拡張学習データとして適用。
• 同一の訓練および評価プロトコル下で、強力なGANベースのベースライン（Pix2PixHD）と比較し、アブレーションおよび比較研究を実施。

実験結果

リサーチクエスチョン

• RQ1 視覚的およびテキスト的プロンプトを用いた拡散モデルは、GANに比べて、より高精細で、病変特徴の制御性が優れた皮膚鏡画像を生成できるか？
• RQ2 提案された生成フレームワークを用いたデータ拡張は、皮膚病変セグメンテーション性能をどの程度向上させるか？
• RQ3 病変固有のプロンプト（タイプ、形状、位置、特徴）の統合は、画像品質および下流タスクの精度にどのように影響するか？
• RQ4 自動病変マスク生成モジュールは、合成病変データの多様性およびカバー範囲を効果的に向上させているか？
• RQ5 本フレームワークは、希少または異常な症例の制御された生成を要する他の医用画像タスクにも適用可能か？

主な発見

• 提案された拡散モデルベースのフレームワークは、Pix2PixHD GANベースラインに比べてSSIMで9%の相対的向上を達成し、画像品質および詳細の保持の優位性を示している。
• 本手法は、先行研究に比べてDice係数を5%以上向上させ、5,000枚の合成画像を用いた場合の最終的なセグメンテーションDSCは0.914に達した。
• 生成画像は、図4のズームイン領域で視覚的に確認したところ、テクスチャおよび病変構造の忠実度が顕著に優れていた。
• 1,000枚、3,000枚、5,000枚の異なる合成データスケールにおいても性能向上が一貫しており、3,000枚を超えると限界効果が顕著に低下した。
• 合成データで拡張した場合、SOTAのU-Netモデル（DSC 0.861）およびDCSAU-Net（DSC 0.903）を上回る性能を示した。
• 視覚的およびテキスト的プロンプトの両方を用いることで、病変特徴の正確な制御が可能となり、希少または複雑な症例向けの標的的データ生成が可能になった。