[論文レビュー] Skin lesion classification with ensemble of squeeze-and-excitation networks and semi-supervised learning

Shunsuke Kitada, Hitoshi Iyatomi|arXiv (Cornell University)|Sep 7, 2018

Cutaneous Melanoma Detection and Management参考文献 5被引用数 12

ひとこと要約

本論文では、皮膚腫瘍分類のためのSqueeze-and-Excitationネットワーク（SE-ResNet101）のアンサンブルを提案し、Mean Teacherフレームワークを用いた半教師あり学習と、身体毛の挿入やクラス間学習を含む新しいデータ拡張技術を導入している。本手法は、ISIC 2018の検証セットで87.2%のバランス精度を達成し、提案された拡張技術を用いないベースラインモデルに比べて顕著な性能向上を示した。

ABSTRACT

In this report, we introduce the outline of our system in Task 3: Disease Classification of ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection. We fine-tuned multiple pre-trained neural network models based on Squeeze-and-Excitation Networks (SENet) which achieved state-of-the-art results in the field of image recognition. In addition, we used the mean teachers as a semi-supervised learning framework and introduced some specially designed data augmentation strategies for skin lesion analysis. We confirmed our data augmentation strategy improved classification performance and demonstrated 87.2% in balanced accuracy on the official ISIC2018 validation dataset.

研究の動機と目的

• 稀なメラノーマタイプを含む、クラスに偏りのある医療データセットにおける皮膚腫瘍分類の精度を向上させること。
• 悪性皮膚腫瘍クラスにおけるデータ不足を、未ラベルデータを活用した半教師あり学習によって解決すること。
• 皮膚画像の特徴に適合したカスタムデータ拡張戦略を通じて、モデルの汎化性能を向上させること。
• 身体毛の挿入などの新しいデータ拡張技術が、分類のロバストネスを向上させる有効性を評価すること。
• 交差検証を用いたアンサンブル学習とモデルの有効性を、医療画像分類の文脈で示すこと。

提案手法

• ISIC 2018のトレーニングデータに対して5-fold交差検証を用い、複数の事前学習済みSE-ResNet101モデルを微調整した。
• Mean Teacher半教師あり学習フレームワークを採用し、学生モデルがラベル付きデータと、重みの指数移動平均を用いた教師モデルとの一貫性損失から学習する。
• ランダムイリージング、異なるクラスの画像間の線形補間（クラス間学習）に加え、ボーフォンの針モデルに基づく新しい身体毛拡張法を含むデータ拡張技術を適用した。
• 推論時にもデータ拡張を適用し、5つのアンサンブルモデルの予測を平均化することでロバストネスを向上させた。
• トレーニング中に画像正規化と平均値差し引きを実施し、各フォワードパスでランダムにデータ拡張を適用した。
• 深層学習フレームワークとしてChainerを用いてシステムを実装した。

実験結果

リサーチクエスチョン

• RQ1 Mean Teacherフレームワークを用いた半教師あり学習は、偏りのある皮膚腫瘍データセットにおける分類性能を向上させることができるか？
• RQ2 トレーニング画像に合成された身体毛を導入することで、モデルの汎化能力と正確な病変分類能力が向上するか？
• RQ3 標準的な拡張法と比較して、クラス間学習は皮膚腫瘍分類におけるデータ拡張戦略としてどの程度有効か？
• RQ4 ランダムイリージングによるデータ拡張は、皮膚画像分類におけるロバストネス向上にどの程度寄与するか？
• RQ5 これらの技術で微調整された5つのSE-ResNet101モデルのアンサンブルは、ISIC 2018ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案されたシステムは、公式のISIC 2018検証データセットで87.2%のバランス精度を達成し、多クラス皮膚腫瘍分類において優れた性能を示した。
• 身体毛拡張の導入によりモデル性能が顕著に向上し、バランス精度が79.2%から87.2%に上昇した。
• Mean Teacher半教師あり学習フレームワークは未ラベルデータを効果的に活用し、クラスの偏りがある中でも汎化性能を向上させた。
• クラス間学習とランダムイリージングによるデータ拡張は、トレーニングデータの多様性を高め、モデルのロバストネスを向上させた。
• 交差検証と推論時拡張を用いて訓練された5つのSE-ResNet101モデルのアンサンブルは、より安定的かつ正確な予測をもたらした。
• 新規の身体毛拡張法は、実際の病変画像の変動、特に毛髪による隠蔽領域の処理において有効であることが示された。