[論文レビュー] Transformer-based interpretable multi-modal data fusion for skin lesion classification

Theodor Cheslerean-Boghiu, Melia-Evelina Fleischmann+2 more|arXiv (Cornell University)|Apr 3, 2023

Cutaneous Melanoma Detection and Management被引用数 4

ひとこと要約

本論文は、自己注意メカニズムを用いて、皮膚腫瘍画像と患者のメタデータを1段階のプロセスで統合する、変換器ベースで解釈可能なマルチモーダル統合モデルを提案する。この手法は、画像豊富な環境およびメタデータ豊富な環境の両方で最先端の性能を達成するとともに、勾配上昇マップと関連性マップを通じてネイティブな解釈可能性を提供し、臨床医がモデルの意思決定を検証し、AI駆動診断に対する信頼を築けるようにする。

ABSTRACT

A lot of deep learning (DL) research these days is mainly focused on improving quantitative metrics regardless of other factors. In human-centered applications, like skin lesion classification in dermatology, DL-driven clinical decision support systems are still in their infancy due to the limited transparency of their decision-making process. Moreover, the lack of procedures that can explain the behavior of trained DL algorithms leads to almost no trust from clinical physicians. To diagnose skin lesions, dermatologists rely on visual assessment of the disease and the data gathered from the patient's anamnesis. Data-driven algorithms dealing with multi-modal data are limited by the separation of feature-level and decision-level fusion procedures required by convolutional architectures. To address this issue, we enable single-stage multi-modal data fusion via the attention mechanism of transformer-based architectures to aid in diagnosing skin diseases. Our method beats other state-of-the-art single- and multi-modal DL architectures in image-rich and patient-data-rich environments. Additionally, the choice of the architecture enables native interpretability support for the classification task both in the image and metadata domain with no additional modifications necessary.

研究の動機と目的

• 深層学習ベースの皮膚科意思決定支援システムにおける透明性の欠如と臨床的信頼の不足に対処する。
• 畳み込みニューラルネットワークにおける従来の統合手法が特徴レベルと意思決定レベルの統合を分離するという制限を克服する。
• 変換器の注目メカニズムを活用して、1段階的かつエンドツーエンドのマルチモーダルデータ統合を実現し、性能を向上させる。
• 追加の変更なしに、画像モダリティおよびメタデータモダリティの両方に対してネイティブな解釈可能性を提供する。
• モデルの解釈を、既知の皮膚科診断基準および患者歴要因と一致させることで、臨床的妥当性を確保する。

提案手法

• 皮膚画像と表形式の患者メタデータを、共有された潜在空間内で同時に符号化する変換器アーキテクチャを採用する。
• 複数ヘッドの自己注意を用いて、分類プロセス中に画像パッチとメタデータ特徴の重要度を動的に重み付けする。
• モダリティ固有のトークナイザーと学習可能な位置埋め込みを用いて、画像データと表形式データの統合埋め込みを実現する。
• 融合表現から[CLS]トークンに分類ヘッドを適用し、皮膚腫瘍診断を予測する。
• 勾配上昇マップ（Grad-CAM）と勾配ベースのサリエンシー・マップを活用して、画像注目度の視覚的解釈可能性を提供する。
• LIME風の特徴帰属度を用いて、個々のメタデータ要因の関連性スコアを計算し、モデル意思決定の臨床的解釈を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1段階の変換器ベースアーキテクチャは、既存の最先端モデルに比べてマルチモーダル皮膚腫瘍分類で優れた性能を発揮できるか？
• RQ2 変換器の注目メカニズムは、皮膚画像と臨床的メタデータの有効な統合をどの程度可能にするか？
• RQ3 モデルの注目メカニズムは、腫瘍の増悪行動や解剖学的場所といった臨床的関連特徴を、画像およびメタデータ両方で適切に特定するか？
• RQ4 モデルの解釈出力（サリエンシーおよび関連性マップ）は、臨床医がモデル予測の検証や是正を可能にするか？
• RQ5 限られたクラス（例：ACK, SEK）や視覚的に曖昧な皮膚腫瘍（高イントラクラス分散を示す）において、モデルはどの程度の性能を示すか？

主な発見

• 提案手法は、画像豊富な環境および患者データ豊富な環境の両方で、既存の単一およびマルチモーダル深層学習アーキテクチャを上回る最先端の性能を達成した。
• 低コントラストや毛髪による遮蔽がある場合でも、腫瘍関連領域の局在化が優れた性能を示した。
• サリエンシー・マップは、メラノーマにおける病変の変化行動や基底細胞癌における解剖学的場所といった、臨床的に関連する特徴を正しく同定していることを示した。
• 関連性マップは、メタデータと疾患との間に意味のある関連性を学習していることを示した。例えば、ネビスに対しては年齢、BCCに対しては性別および場所、SCCに対しては増悪行動といった関連性である。
• マーカーなどの非医学的特徴でさえも注目しているが、それらを誤って分類の根拠として用いないことから、誤った相関関係への耐性があることが示された。
• ACK や SEK のようなスパースクラスでは、クラス内変動が少ないので局在化の精度がやや低いが、SCC のような高分散クラスでは依然として良好な一般化性能を示した。