[論文レビュー] Identifying Melanoma Images using EfficientNet Ensemble: Winning Solution to the SIIM-ISIC Melanoma Classification Challenge

Qishen Ha, Бо Лю+1 more|arXiv (Cornell University)|Oct 11, 2020

AI in cancer detection参考文献 5被引用数 46

ひとこと要約

論文は、主に EfficientNets を含む多様な CNN モデルの winning アンサンブル を提示し、画像とメタデータ入力を用い、安定した検証スキームとターゲット意識ラベリングを採用して SIIM-ISIC メラノーマ分類チャレンジで AUC のトップを達成。

ABSTRACT

We present our winning solution to the SIIM-ISIC Melanoma Classification Challenge. It is an ensemble of convolutions neural network (CNN) models with different backbones and input sizes, most of which are image-only models while a few of them used image-level and patient-level metadata. The keys to our winning are: (1) stable validation scheme (2) good choice of model target (3) carefully tuned pipeline and (4) ensembling with very diverse models. The winning submission scored 0.9600 AUC on cross validation and 0.9490 AUC on private leaderboard.

研究の動機と目的

• 複数年にわたるデータを活用して positives 限定の皮膚画像からのメラノーマ分類の課題に対処する。
• 不均衡データセットでモデル性能を信頼性高く推定するための安定した検証戦略を開発する。
• メタデータの有無によるモデルアーキテクチャを検討し、アンサンブルの多様性と性能を向上させる。
• 多様なバックボーンと入力サイズを組み合わせたアンサンブルを実証し、クロスバリデーションとプライベートリーダーボードでの AUC の最大化を図る。

提案手法

• 多様なバックボーン（EfficientNet B3–B7、SE-ResNeXt-101、ResNeSt-101）を用いて複数の CNN モデルを訓練する。
• 2019 の診断を 2020 のターゲットに対応付けることで得られる 9 クラスのターゲットを使用し、MEL を最終予測として AUC を評価する。
• いくつかのモデルで 14 のメタデータ特徴を取り入れ、融合前に2つの FC 層を配置する。
• 広範な画像拡張（Albumentations）とウォームリスタートを伴うコサインアニーリングを適用して、15エポックで訓練する。
• 2018–2020 のデータを跨ぐ結合データの5分割 CV（cv_all）でモデルを評価し、健全性チェックのため cv_2020 を追跡する。
• 確率を一様スコアに変換して平均化することで、18モデルの単純平均アンサンブルを作成する。

実験結果

リサーチクエスチョン

• RQ1 多様な CNN アーキテクチャのアンサンブルは、単一モデル手法より SIIM-ISIC メラノーマ分類で高い AUC を達成できるか？
• RQ2 画像データと同時にメタデータを組み込むことで、メラノーマ分類の性能とアンサンブルの多様性が向上するか？
• RQ3 複数年を跨ぐ結合バリデーション戦略は、不均衡な医用画像データに対してより安定で信頼性の高い性能推定を提供するか？

主な発見

Model	Backbone	Target	Input	Resize	Metadata	Init lr	Epochs	cv_all	cv_2020	private_LB	public_LB
1	B3	9c	768	512	yes	3e-5	18	0.9762	0.9300	0.9305	0.9182
2	B4	9c	768	640		3e-5	15	0.9767	0.9400	0.9299	0.9342
3	B4	9c	768	768		3e-5	15	0.9771	0.9408	0.9264	0.9251
4	B4	9c	768	640	yes	3e-5	15	0.9765	0.9408	0.9302	0.9221
5	B4	9c	1024	896		2e-5	15	0.9744	0.9390	0.9320	0.9281
6	B4	9c	512	448		3e-5	15	0.9748	0.9307	0.9213	0.9002
7	B5	9c	512	384	yes	3e-5	15	0.9752	0.9329	0.9167	0.9350
8	B5	9c	768	640		1.5e-5	15	0.9771	0.9428	0.9291	0.9216
9	B5	4c	768	640		1.5e-5	15	0.9765	0.9384	0.9362	0.9260
10	B5	9c	512	448		3e-5	15	0.9751	0.9397	0.9363	0.9387
11	B6	9c	768	640		3e-5	15	0.9756	0.9444	0.9408	0.9283
12	B6	9c	768	576		3e-5	15	0.9761	0.9443	0.9266	0.9245
13	B6	9c	512	448		3e-5	15	0.9742	0.9383	0.9261	0.9154
14	B7	9c	512	384	yes	3e-5	15	0.9748	0.9394	0.9193	0.9170
15	B7	9c	768	576		1e-5	15	0.9764	0.9432	0.9260	0.9271
16	B7	9c	768	640		1e-5	15	0.9754	0.9440	0.9304	0.9115
17	SE_X101	9c	768	640		3e-5	15	0.9739	0.9428	0.9295	0.9337
18	Nest101	9c	768	640		2e-5	15	0.9728	0.9396	0.9320	0.9267
Ensemble	-	-	-	-	-	-	-	0.9845	0.9600	0.9490	0.9442

• 18-model アンサンブルは cv_all 0.9845、 cv_2020 0.9600、 private_LB 0.9490、 and public_LB 0.9442 を達成。
• バックボーン、入力サイズ、メタデータの使用の多様性がアンサンブルの頑健性に寄与した。
• 画像のみのモデルは通常、メタデータのみのモデルよりも性能が高いが、メタデータモデルは貴重な多様性を加えた。
• 2018–2020 の結合トレーニングセットと cv_all ベースの検証を使用することで、2020 年データだけに依存するよりも安定した AUC 推定を得られた。