[論文レビュー] A Deep Multi-task Learning Approach to Skin Lesion Classification

Haofu Liao, Jiebo Luo|arXiv (Cornell University)|Dec 9, 2018

Cutaneous Melanoma Detection and Management参考文献 28被引用数 3

ひとこと要約

本稿では、皮膚病変の分類と身体部位分類を同時に最適化する深層マルチタスク学習フレームワークを提案する。ResNet-50バックボーンを用い、特化した損失関数を適用することで、皮膚病変の解剖学的分布パターンをインダクティブバイアスとして活用し、ユニバーサル皮膚病変分類において0.80の平均平均精度（mAP）を達成した。これは単一タスクベースラインを上回り、病変分類および身体部位分類の両方の性能を向上させた。

ABSTRACT

Skin lesion identification is a key step toward dermatological diagnosis. When describing a skin lesion, it is very important to note its body site distribution as many skin diseases commonly affect particular parts of the body. To exploit the correlation between skin lesions and their body site distributions, in this study, we investigate the possibility of improving skin lesion classification using the additional context information provided by body location. Specifically, we build a deep multi-task learning (MTL) framework to jointly optimize skin lesion classification and body location classification (the latter is used as an inductive bias). Our MTL framework uses the state-of-the-art ImageNet pretrained model with specialized loss functions for the two related tasks. Our experiments show that the proposed MTL based method performs more robustly than its standalone (single-task) counterpart.

研究の動機と目的

• 多様な病変タイプにわたるユニバーサル皮膚病変分類の課題に取り組むこと。これは従来のハンドクラフト特徴量では困難である。
• 身体部位への病変分布を補助タスクとして組み込むことで、皮膚病変分類の性能が向上するかを検証すること。
• 共有されたCNNバックボーンを用いて、病変タイプと解剖学的部位の両方を同時に学習する深層学習フレームワークを構築すること。
• DermQuestから得た21,657枚の画像を用いて、大規模かつ公開可能な皮膚病変データセット（21,657枚）を構築すること。
• 画像検索と注視可視化を用いて、モデルの汎化性能と解釈可能性を評価すること。

提案手法

• 本手法は、皮膚病変および身体部位分類に微調整された事前学習済みResNet-50モデルに基づく深層マルチタスク学習フレームワークを採用する。
• 主タスク（皮膚病変分類）と補助タスク（身体部位分類）のそれぞれに、独自の特化した損失関数を備えた2つの別々の全結合（FC）層を用いる。
• 画像検索のための特徴表現は最終プーリング層（pool5）から抽出され、注視マップ生成のための特徴は最終畳み込み層（res5c）から抽出される。
• 画像注視は、学習済みFC層の重みを用いて活性マップの重み付き平均を計算することで得られ、両タスクのクラス固有の注視マップが生成される。
• マルチタスクモデルとその単一タスク対応モデルのアンサンブルを用いることで性能を向上させ、最高のmAPを達成した。
• 共有特徴学習を促進すると同時に、タスク固有の表現を維持するため、統合最適化目的関数を用いてエンドツーエンドでモデルを学習した。

実験結果

リサーチクエスチョン

• RQ1 皮膚病変分類と身体部位分類の共同学習は、ユニバーサル皮膚病変分類の性能を向上させることができるか？
• RQ2 皮膚病変の解剖学的分布は、マルチタスク学習による病変分類の向上に有用なインダクティブバイアスとして機能するか？
• RQ3 マルチタスクモデルは、病変分類および身体部位分類の両面で、単一タスクの対応モデルと比較して優れた性能を示すか？
• RQ4 注視マップは、皮膚科画像における意味的な病変領域および解剖学的領域の局在化をどれほど的確に反映しているか？
• RQ5 マルチタスクモデルから学習された特徴を用いた画像検索は、意味的に類似した病変および身体部位を適切に検索できるか？

主な発見

• 提案されたマルチタスク学習モデルは、ユニバーサル皮膚病変分類において0.80の平均平均精度（mAP）を達成し、単一タスクベースラインを上回った。
• マルチタスク設定下でも身体部位分類タスクの性能が向上し、単独で身体部位分類を学習した場合と比較して、トップ1およびトップ3の正確度が向上した。
• 画像検索の結果、モデルは視覚的および意味的に類似した画像を正しく検索しており、正しい照合結果は緑色で、誤検索は赤色で示された。
• 注視可視化により、主タスクでは病変領域に注目するようモデルが学習していることが確認された一方、補助タスクでは身体部位に注目している。ただし、一部のクラス固有バイアス（例：「alopecia」）では重複する注視マップが観察された。
• マルチタスクモデルとその単一タスク対応モデルのアンサンブルは、最高のmAPを達成し、相補的な性能向上が示された。
• 本研究では、身体部位への好発性が、皮膚病変分類における特徴学習と一般化性能の向上に寄与する価値あるインダクティブバイアスであることが確認された。