[論文レビュー] Deep neural network ensemble by data augmentation and bagging for skin lesion classification

Manik Goyal, Jagath C. Rajapakse|arXiv (Cornell University)|Jul 15, 2018

Cutaneous Melanoma Detection and Management参考文献 5被引用数 7

ひとこと要約

本論文では、データ拡張とバギングを組み合わせ、$1\times1$畳み込みメタラーナーを用いて皮膚腫瘍分類を向上させる、新しい深層ニューラルネットワークアンサンブルフレームワーク、DABEAを提案する。増幅されたデータ上でInception-v4とInception-ResNet-v2を訓練し、多様な予測を生成するためにバギングを適用し、学習可能な$1\times1$畳み込みによってそれらを統合することで、ISIC 2018検証セットにおいてバランス精度0.837を達成し、正規化されていないおよび混合モデル設定を上回った。

ABSTRACT

This work summarizes our submission for the Task 3: Disease Classification of ISIC 2018 challenge in Skin Lesion Analysis Towards Melanoma Detection. We use a novel deep neural network (DNN) ensemble architecture introduced by us that can effectively classify skin lesions by using data-augmentation and bagging to address paucity of data and prevent over-fitting. The ensemble is composed of two DNN architectures: Inception-v4 and Inception-Resnet-v2. The DNN architectures are combined in to an ensemble by using a $1 imes1$ convolution for fusion in a meta-learning layer.

研究の動機と目的

• 限られたトレーニングデータにおけるデータ不足と過学習を解消するための深層ニューラルネットワークを用いた皮膚腫瘍分類。
• 複数の深層学習モデルを効果的に統合することで、ISIC 2018チャレンジにおける分類性能を向上させること。
• データ拡張とバギングを活用する新しいアンサンブルアーキテクチャを開発し、モデルの頑健性と一般化性能を向上させること。
• 複数のベースモデルからの予測を統合するための学習可能な$1\times1$畳み込み層としてのメタラーナーの導入。

提案手法

• フレームワークは、2つの事前学習済みCNNアーキテクチャ（Inception-v4とInception-ResNet-v2）を用い、ISIC 2018データセットでファインチューニングする。
• 入力画像は、画素ごとの平均値を差し引くことで正規化され、データバイアスを低減する。
• データ拡張は、ランダムクロッピング、明るさ/彩度の調整、水平反転を用いて、トレーニングの多様性を向上させる。
• バギングは、各画像の10の増幅バージョンに対して、各モデルの予測から100個の出力ベクトルをランダムに抽出することで実施する。
• 両モデルのバギング出力を連結し、$N \times 7 \times 100 \times 2$の形状の3次元テンソルとして統合する。
• $1\times1$畳み込み層が、プーリング操作を通じて特徴レベルの統合を実行し、両モデルからの予測を学習可能に組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 限られたトレーニングデータにおける皮膚腫瘍分類の一般化性能向上に、データ拡張とバギングは有効であるか？
• RQ2 複数の深層ニューラルネットワークからの予測統合に、$1\times1$畳み込み層をメタラーナーとして用いる効果は何か？
• RQ3 正規化済みと非正規化済みのモデル出力を組み合わせることで、個別または単一正規化設定よりも性能が向上するか？
• RQ4 プーリング戦略（最大値、平均値、極端確率）の違いが、アンサンブル予測の安定性と精度に与える影響は何か？

主な発見

• $1\times1$畳み込みメタラーナーは、Inception-v4とInception-ResNet-v2両モデルに正規化入力を使用した場合、最高のバランス精度0.837を達成した。
• 正規化済みモデルアンサンブルは、非正規化設定（バランス精度0.729）および混合正規化設定（バランス精度0.732）を上回った。
• テスト提出の最終プーリング戦略として、平均プーリングが選択された。これは、実験全体にわたる一貫性ある性能のおかげである。
• データ拡張とバギングの使用により、モデルの頑健性が顕著に向上した。正規化済みと非正規化トレーニング設定の間の性能差がそれを裏付けた。
• 適切な正規化と拡張を伴う、ImageNetで事前学習されたモデルをISIC 2018データにファインチューニングすることで、顕著な性能向上が得られた。
• アンサンブルフレームワークは優れた一般化性能を示し、評価された設定の中でISIC 2018検証セットで最先端の結果を達成した。