[論文レビュー] Skin cancer detection based on deep learning and entropy to detect outlier samples

André G. C. Pacheco, Abder-Rahman Ali+1 more|arXiv (Cornell University)|Sep 10, 2019

Anomaly Detection Techniques and Applications参考文献 20被引用数 50

ひとこと要約

論文は8つの皮膚病変タイプを分類するために13個のCNNのエンサンブルを構築し、UNKクラスという外れ値を検出する；またエントロピーベースの外れ値検出とメタデータを用いて性能を向上させ、バランス精度とAUCの両方で競争力を持つ。

ABSTRACT

We describe our methods that achieved the 3rd and 4th places in tasks 1 and 2, respectively, at ISIC challenge 2019. The goal of this challenge is to provide the diagnostic for skin cancer using images and meta-data. There are nine classes in the dataset, nonetheless, one of them is an outlier and is not present on it. To tackle the challenge, we apply an ensemble of classifiers, which has 13 convolutional neural networks (CNN), we develop two approaches to handle the outlier class and we propose a straightforward method to use the meta-data along with the images. Throughout this report, we detail each methodology and parameters to make it easy to replicate our work. The results obtained are in accordance with the previous challenges and the approaches to detect the outlier class and to address the meta-data seem to be work properly.

研究の動機と目的

• dermoscopic画像を用いた自動皮膚がん診断をISIC 2019データで動機付けする。
• 8つの既知病変クラスを分類するCNNモデルのエンサンブルを開発する。
• UNK外れ値クラスを検出する手法を提案し、アプローチを比較する。
• 利用可能な場合には年齢、性別、地域といったメタデータを分類性能向上に組み込む。

提案手法

• ImageNetで事前学習済みの13種類のCNNアーキテクチャ（SENet, PNASNet, InceptionV4, ResNet-50/101/152, DenseNet-121/169/201, MobileNetV2, GoogleNet, VGG-16/19）を150エポックでAdamを用いてファインチューニングした。
• データセットの不均衡に対処するためクラス加重クロスエントロピーを使用し、アップサンプリングを検討するが重み付き損失を優先した。
• 評価する2つのエンサンブル：Ensemble 1（全13モデル）とEnsemble 2（バランス精度で上位3モデル）を用い、確率を平均することで予測を結合した。
• 2つの外れ値検出アプローチを開発：（i）皮膚画像を分離する階層的分類器（ベースライン）、および（ii）クラスごとのエントロピー閾値とヒット/ミス分布に基づくコサイン類似度を用いたエントロピーベース選択。
• Task 2では、年齢、性別、地域に基づくヒストグラムベースの確率でCNN出力をメタデータと組み合わせ、上位予測を調整した。

実験結果

リサーチクエスチョン

• RQ1 ISIC 2019で最先端のCNNのエンサンブルは8クラスの皮膚病変分類で競争力を発揮できるか。
• RQ2 ISIC 2019のテストセット内でUNK外れ値クラスを効果的に検出するにはどうすればよいか。
• RQ3 メタデータ（年齢、性別、地域）を組み込むと皮膚病変診断の分類性能は向上するか。
• RQ4 エントロピーに基づく外れ値検出と階層的皮膚画像検出器の比較により影響はどう異なるか。

主な発見

モデル	バランス精度	精度	AUC
DenseNet-121	0.832	0.840	0.974
DenseNet-169	0.811	0.830	0.960
DenseNet-201	0.821	0.851	0.975
GoogleNet	0.814	0.820	0.966
InceptionV4	0.823	0.831	0.971
MobileNetV2	0.812	0.799	0.964
PNASNet	0.837	0.852	0.978
ResNet-50	0.820	0.828	0.967
ResNet-101	0.812	0.820	0.969
ResNet-152	0.818	0.837	0.969
SENet	0.855	0.860	0.974
VGG-16	0.825	0.807	0.968
VGG-19	0.842	0.827	0.972
Ensemble 1	0.883	0.890	0.988
Ensemble 2	0.897	0.910	0.989
Ensemble 1 + Meta-data	0.891	0.896	0.983
Ensemble 2 + Meta-data	0.901	0.910	0.987

• Ensemble 2 は評価したモデルの中で最も高いバランス精度を達成（0.897）し、精度は0.910、AUCは0.989。
• Ensemble 2 with meta-data はバランス精度を0.901、精度を0.910（AUC0.987）へわずかに改善。
• メタデータの統合は、メタデータを使用しない場合と比較して性能を控えめながら有益に向上させる。
• エントロピー基づく外れ値検出は Ensemble 1 で944件の外れ値（11.45%）、Ensemble 2 で579件の外れ値（7.02%）を識別し、未知サンプル検出において階層的アプローチを上回る。
• 八クラス分類の性能は過去のISICチャレンジと競合的で、SENetは最も強力な単一モデルの1つであり、エンサンブルが最良の結果を出す。
• 提案されたエントロピーに基づく外れ値手法はより広範な外れ値検出を提供する一方で、より多くのサンプルを未知として含めるコストがあるため、改良の余地が示唆される。