[論文レビュー] SkinGPT-4: An Interactive Dermatology Diagnostic System with Visual Large Language Model

Juexiao Zhou, He, Xiaonan+8 more|arXiv (Cornell University)|Apr 21, 2023

Cutaneous Melanoma Detection and Management被引用数 16

ひとこと要約

SkinGPT-4 は、皮膚科領域向けの微調整済み視覚型 LLM で、アップロード画像から皮膚疾患を診断し、説明と治療提案を提供し、プライバシー保護のためローカルで動作します。150 件の実例評価で皮膚科専門医と一致する精度を示しました。

ABSTRACT

Skin and subcutaneous diseases rank high among the leading contributors to the global burden of nonfatal diseases, impacting a considerable portion of the population. Nonetheless, the field of dermatology diagnosis faces three significant hurdles. Firstly, there is a shortage of dermatologists accessible to diagnose patients, particularly in rural regions. Secondly, accurately interpreting skin disease images poses a considerable challenge. Lastly, generating patient-friendly diagnostic reports is usually a time-consuming and labor-intensive task for dermatologists. To tackle these challenges, we present SkinGPT-4, which is the world's first interactive dermatology diagnostic system powered by an advanced visual large language model. SkinGPT-4 leverages a fine-tuned version of MiniGPT-4, trained on an extensive collection of skin disease images (comprising 52,929 publicly available and proprietary images) along with clinical concepts and doctors' notes. We designed a two-step training process to allow SkinGPT to express medical features in skin disease images with natural language and make accurate diagnoses of the types of skin diseases. With SkinGPT-4, users could upload their own skin photos for diagnosis, and the system could autonomously evaluate the images, identifies the characteristics and categories of the skin conditions, performs in-depth analysis, and provides interactive treatment recommendations. Meanwhile, SkinGPT-4's local deployment capability and commitment to user privacy also render it an appealing choice for patients in search of a dependable and precise diagnosis of their skin ailments. To demonstrate the robustness of SkinGPT-4, we conducted quantitative evaluations on 150 real-life cases, which were independently reviewed by certified dermatologists, and showed that SkinGPT-4 could provide accurate diagnoses of skin diseases.

研究の動機と目的

• 皮膚科医の不足と皮膚画像の解釈の難しさに対処するため、自己診断と対話型ガイダンスを可能にする。
• 皮膚疾患画像と臨床ノートを用いて MiniGPT-4 を微調整し、皮膚科に特化した視覚言語モデルを開発する。
• 説明可能で患者に優しい診断レポートを提供しつつ、プライバシーを強化するためにローカル展開を可能にする。
• 認定皮膚科医と比較した診断精度と有用性を評価し、患者と臨床医の使いやすさを評価する。

提案手法

• 臨床概念と医師のノートを含む大規模な皮膚疾患画像データセット（52,929 枚）で MiniGPT-4 を微調整する。
• 2 段階のトレーニングを実装する。ステップ1は視覚特徴を自然言語で記述された医療概念と整合させ、ステップ2は正確な病型診断を訓練する。
• LLM ベースの診断の前段階として、画像エンコードと埋め込み生成に Vision Transformer (ViT) と Q-Transformer を使用する。
• ユーザーが画像をアップロードし、特徴の説明、原因、治療推奨を受け取るインタラクティブな診断パイプラインを提供する。
• ローカル展開によるプライバシーを評価し、皮膚科医の評価と性能を比較する。
• エポック=20、バッチサイズ=2、学習率=1e-4で、2つの NVIDIA V100 GPU を用いて訓練を設定する。

実験結果

リサーチクエスチョン

• RQ1 ビジョンベースの LLM は、ユーザーがアップロードした画像から皮膚疾患を正確に診断できるか？
• RQ2 皮膚科に焦点を当てた2段階の微調整は、単一段階のアプローチより診断精度と特徴説明を向上させるか？
• RQ3 実際の症例で SkinGPT-4 は認定皮膚科医とどれくらい一致し、患者の使いやすさはどうか？
• RQ4 ローカル展開は診断の有用性を維持しつつプライバシー問題に対処するか？

主な発見

• 150 件の実例で、SkinGPT-4 の診断のうち 78.76% が認定皮膚科医により正確または関連性があると評価された。
• 全体の有用性と説明の関連性について、93.75% の症例で同意レベル（強く同意または同意）を達成した。
• 医師は SkinGPT-4 の原因説明と治療提案を有益で有用だと評価した（それぞれ80.63%と83.13%）。
• ローカル展開のプライバシー評価は高く（91.88%）、プライバシー保護利用を支持。
• SkinGPT-4 は24/7 の予備評価を、数秒の迅速な応答で提供し、患者を支援し皮膚科医の作業を効率化できる。
• 2段階トレーニングは、単一段階のアブレーションを上回り、正確な形態説明と疾患同定を可能にした。