[論文レビュー] SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models

Bo Lin, Yingjing Xu+4 more|arXiv (Cornell University)|Apr 23, 2024

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

SkinGEN は、Stable Diffusion と LoRA のファインチューニングを用いて、VLM の予測からパーソナライズされたリアルな皮膚状態の画像を生成することで、皮膚科診断の説明可能性を向上させる、革新的でインタラクティブなビジョン・ランゲージフレームワークである。ベースラインモデルと比較して、ユーザーの信頼性、理解度、および認識可能な使いやすさが顕著に向上し、皮膚科分野の応用において優れた視覚的説明可能性を示している。

ABSTRACT

With the continuous advancement of vision language models (VLMs) technology, remarkable research achievements have emerged in the dermatology field, the fourth most prevalent human disease category. However, despite these advancements, VLM still faces explainable problems to user in diagnosis due to the inherent complexity of dermatological conditions, existing tools offer relatively limited support for user comprehension. We propose SkinGEN, a diagnosis-to-generation framework that leverages the stable diffusion(SD) model to generate reference demonstrations from diagnosis results provided by VLM, thereby enhancing the visual explainability for users. Through extensive experiments with Low-Rank Adaptation (LoRA), we identify optimal strategies for skin condition image generation. We conduct a user study with 32 participants evaluating both the system performance and explainability. Results demonstrate that SkinGEN significantly improves users' comprehension of VLM predictions and fosters increased trust in the diagnostic process. This work paves the way for more transparent and user-centric VLM applications in dermatology and beyond.

研究の動機と目的

• 皮膚科ビジョン・ランゲージモデル（VLM）における視覚的説明可能性の欠如が、ユーザーの理解と信頼を制限するという問題に対処すること。
• 診断済みおよび代替の皮膚状態を直感的で視覚的なデモンストレーションで提示することで、VLM を用いた皮膚科診断における幻覚現象と認知的負荷を低減すること。
• 診断とオンデマンドで生成されるパーソナライズされた画像を統合した、ユーザー中心のフレームワークを構築し、臨床的解釈可能性を向上させること。
• 視覚的説明可能性が皮膚科意思決定支援システムにおけるユーザーの認識、信頼性、および使いやすさに与える影響を評価すること。
• 制御された画像生成を通じて、皮膚科分野にとどまらず、透明性がありインタラクティブな VLM アプリケーションの新しいパラダイムを確立すること。

提案手法

• SkinGEN は二段階のパイプラインを採用している：まず、ユーザーがアップロードした皮膚画像を VLM が分析し、主な診断に加えて可能性のある鑑別診断を提示する。
• 第二に、影響を受ける皮膚領域のマスク化された表現を生成し、条件付き画像生成をガイドする。
• Low-Rank Adaptation（LoRA）および IP-Adapter のファインチューニングを用いて、Stable Diffusion を制御し、診断済みおよび代替の皮膚状態の高精細でリアルな可視化を生成する。
• 生成された画像は視覚的説明として機能し、ユーザーが症状を比較し、診断の根拠を理解できるようにする。
• チャットベースのインターフェースにより、ユーザーの診断に関する質問や明確化が可能であり、類似症例の検索も可能である。
• ユーザー研究を通じて、32名の参加者を対象に、信頼性、理解度、および認知的負荷の観点から、SkinGEN と2つのベースラインシステムを比較評価した。

実験結果

リサーチクエスチョン

• RQ1 VLM を用いた皮膚科診断に視覚的生成を統合することで、ユーザーがシステムに対して信頼を抱くようになるか。
• RQ2 パーソナライズされた視覚的例を生成することで、複雑な皮膚科診断の理解度がどの程度向上するか。
• RQ3 SkinGEN は、認識可能な使いやすさと認知的負荷の観点から、ベースラインシステムと比較してどの程度優れているか。
• RQ4 ファインチューニング戦略（例：LoRA、IP-Adapter）の中で、どの戦略が最もリアルで関連性の高い皮膚疾患画像を生成するか。
• RQ5 インタラクティブでビジョン・ランゲージベースの画像生成は、皮膚科分野における VLM 予測の解釈可能性を向上させることができるか。

主な発見

• ユーザー研究において、SkinGEN はベースラインシステムを著しく上回り、ユーザーがより信頼できると評価した（p < 0.05）。
• ユーザーは、SkinGEN の説明が plain VLM 出力やケースベースの検索システムと比較して理解しやすく、認知的負荷が低かったと報告した。
• 生成された皮膚疾患画像の認識されたリアリズムの平均スコアは5点満タンで4.16であり、高い視覚的忠実度とユーザー受容性を示している。
• ユーザーは高い実用性を評価し、システム全体の有用性の平均スコアが4.38、将来的に使用する意思の平均スコアが4.31であった。
• LoRA と IP-Adapter の統合により、安定的かつ制御可能な画像生成が可能となり、最適化されたプロンプトおよびアダプタ設定が最良の結果をもたらした。
• 類似した皮膚状態の視覚的比較が可能であるため、診断の曖昧さが効果的に低減され、ユーザーの自信と理解度が向上した。