[論文レビュー] A Smartphone based Application for Skin Cancer Classification Using Deep Learning with Clinical Images and Lesion Information

Breno Krohling, Pedro B. C. Castro+2 more|arXiv (Cornell University)|Apr 28, 2021

Cutaneous Melanoma Detection and Management参考文献 44被引用数 15

ひとこと要約

本論文は、臨床画像と患者の人口統計データを活用し、バランスの取れたデータセットでトレーニングされた畳み込みニューラルネットワーク（CNN）を用いて、スマートフォンベースの深層学習アプリケーションを提示する。このシステムは、バランスの取れた正解率85%および再現率96.42%を達成し、臨床データを統合することで、画像のみのモデルに比べて分類性能が向上することを示している。

ABSTRACT

Over the last decades, the incidence of skin cancer, melanoma and non-melanoma, has increased at a continuous rate. In particular for melanoma, the deadliest type of skin cancer, early detection is important to increase patient prognosis. Recently, deep neural networks (DNNs) have become viable to deal with skin cancer detection. In this work, we present a smartphone-based application to assist on skin cancer detection. This application is based on a Convolutional Neural Network(CNN) trained on clinical images and patients demographics, both collected from smartphones. Also, as skin cancer datasets are imbalanced, we present an approach, based on the mutation operator of Differential Evolution (DE) algorithm, to balance data. In this sense, beyond provides a flexible tool to assist doctors on skin cancer screening phase, the method obtains promising results with a balanced accuracy of 85% and a recall of 96%.

研究の動機と目的

• 皮膚がんスクリーニングのためのスマートフォンベースのアプリケーションを開発し、皮膚科医のアクセスが限られる地域での早期発見を改善すること。
• 臨床画像データと患者の人口統計データを深層学習モデルに統合し、分類精度を向上させること。
• 皮膚がんデータセットにおけるデータの不均衡を、微分進化（DE）変異演算子に基づく新規アプローチで解決すること。
• 臨床情報が皮膚がん分類における深層学習性能に与える影響を評価すること。
• 実世界のスクリーニング用途に適した機能的なモバイルアプリケーションをデプロイおよび検証すること。

提案手法

• スマートフォンを介して収集された臨床画像と患者の人口統計データを用いて、畳み込みニューラルネットワーク（CNN）をトレーニングする。
• 皮膚がんデータセットにおけるクラスの不均衡に対処するため、微分進化（DE）アルゴリズムの変異演算子に基づくデータバランス化手法を提案する。
• 複数のデータバランス戦略を用いて、バランスの取れた正解率、適合率、再現率、F1スコアなどの指標でモデルを評価する。
• リアルタイムのスマートフォンでの分類を可能にするために、AndroidおよびiOSプラットフォーム向けにモバイルアプリケーションとして実装する。
• 特徴表現の差を評価するため、臨床データ有りと無しの状況でのt-SNE可視化を実施する。
• 本手法は、より多くの皮膚レセプトタイプを含むように拡張されたPAD-UFES-20データセットで検証された。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンベースの深層学習アプリケーションは、臨床画像と患者の人口統計データを用いて、皮膚がんを効果的に分類できるか？
• RQ2 患者の人口統計データを統合することで、CNNの皮膚がん分類性能はどのように向上するか？
• RQ3 データの不均衡はモデル性能にどのような影響を与えるか？ また、DEに基づくバランス化手法は、標準的手法を上回る性能を示せるか？
• RQ4 本手法は、既存のモバイル皮膚がん検出システムと比較して、正解率および再現率の面で優れているか？
• RQ5 臨床データと画像データの統合により、モデルの特徴表現がより明確に区別可能になるか？

主な発見

• 臨床情報の統合により、画像のみのモデルと比較して、バランスの取れた正解率が1.4%向上、適合率が1.1%向上、再現率が2.4%向上した。
• 臨床データを用いた場合、バランスの取れた正解率は85.50%、再現率は96.42%を達成し、重み付き損失関数が最良の性能を示した。
• DEに基づくデータバランス化手法は、重み付き損失と同等の結果を示し、バランスの取れた正解率84.84%、再現率96.12%を達成した。
• t-SNE可視化により、臨床データを用いたモデルが、それなしのモデルよりも明確に分離された特徴表現を生成することが確認された。
• アプリケーションは、再現率96.42%を示し、メラノーマ症例に対する感受性が非常に高いことから、早期スクリーニングにおいて有望な性能を示した。
• 収集したデータセットのサイズが限定的であるため、結果は予備的であり、実世界でのデプロイにおけるさらなる検証が必要である。