[論文レビュー] An Analysis on Ensemble Learning optimized Medical Image Classification with Deep Convolutional Neural Networks

Dominik Müller, Iñaki Soto‐Rey+1 more|arXiv (Cornell University)|Jan 27, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 5

ひとこと要約

本論文は、9つのCNNアーキテクチャと4つの医療画像データセットを用いて、アンサンブル学習手法（増強、スタッキング、バギング）を評価する再現可能なディープラーニングパイプラインを提案する。スタッキングが最も高い性能向上を達成し、F1スコアを最大13%向上させた。一方、単純なプーリング関数が複雑な学習ベースの関数を上回った。

ABSTRACT

Novel and high-performance medical image classification pipelines are heavily utilizing ensemble learning strategies. The idea of ensemble learning is to assemble diverse models or multiple predictions and, thus, boost prediction performance. However, it is still an open question to what extent as well as which ensemble learning strategies are beneficial in deep learning based medical image classification pipelines. In this work, we proposed a reproducible medical image classification pipeline for analyzing the performance impact of the following ensemble learning techniques: Augmenting, Stacking, and Bagging. The pipeline consists of state-of-the-art preprocessing and image augmentation methods as well as 9 deep convolution neural network architectures. It was applied on four popular medical imaging datasets with varying complexity. Furthermore, 12 pooling functions for combining multiple predictions were analyzed, ranging from simple statistical functions like unweighted averaging up to more complex learning-based functions like support vector machines. Our results revealed that Stacking achieved the largest performance gain of up to 13% F1-score increase. Augmenting showed consistent improvement capabilities by up to 4% and is also applicable to single model based pipelines. Cross-validation based Bagging demonstrated significant performance gain close to Stacking, which resulted in an F1-score increase up to +11%. Furthermore, we demonstrated that simple statistical pooling functions are equal or often even better than more complex pooling functions. We concluded that the integration of ensemble learning techniques is a powerful method for any medical image classification pipeline to improve robustness and boost performance.

研究の動機と目的

• 異なるアンサンブル学習戦略がディープラーニングベースの医療画像分類パイプラインに与える性能への影響を調査すること。
• 多様な医療画像データセットにおいて、増強、スタッキング、バギングの有効性を評価すること。
• 12種類のプーリング関数（加重平均からSVMベースの手法まで）を比較し、複数のモデル予測を統合する方法を検討すること。
• この文脈において、複雑なプーリング関数が単純な統計的関数を上回るかどうかを特定すること。
• 医療画像分類におけるアンサンブル手法のベンチマークを可能にする再現可能なパイプラインを提供すること。

提案手法

• パイプラインは、医療画像向けの最新の前処理およびデータオーグメンテーション技術を統合している。
• 4つの公開医療画像データセット（複雑さの異なるもの）を対象に、9つの事前学習済みディープ畳み込みニューラルネットワークアーキテクチャをベースラーナーとして用いた。
• 3つのアンサンブル学習戦略を体系的に適用した：増強（データオーグメンテーションによるモデルアンサンブル）、スタッキング（ベースモデルの予測を統合するメタラーナー）、バギング（交差検証に基づくモデル平均化）。
• 12種類のプーリング関数を評価し、加重平均からサポートベクターマシンまでを含めた。
• 性能評価にはF1スコアを用い、再現性と頑健性を確保するためのきめ細やかな交差検証を実施した。
• パイプライン全体はオープンソース化され、完全な再現性を確保するための補足資料を併記している。

実験結果

リサーチクエスチョン

• RQ1 増強、スタッキング、バギングのうち、どのアンサンブル学習戦略が医療画像分類で最大の性能向上をもたらすか？
• RQ2 単純な平均化から複雑な学習ベースの手法まで変化するプーリング関数は、アンサンブル予測性能にどのように影響するか？
• RQ3 アンサンブル学習は、多様な医療画像データセットにおいて、どの程度の頑健性と一般化性能の向上を達成するか？
• RQ4 この文脈において、単純な統計的プーリング関数がより複雑な学習ベースのプーリング関数を上回る可能性はあるか？
• RQ5 アンサンブル手法による性能向上は、異なるCNNアーキテクチャおよびデータセットの複雑さに関係なく一貫しているか？

主な発見

• スタッキングが最大の性能向上を達成し、個々のモデルと比較してF1スコアを最大13%向上させた。
• 増強は一貫して性能を向上させ、最大4%の向上を示し、単一モデルパイプラインでも有効であった。
• 交差検証に基づくバギングは顕著な性能向上をもたらし、F1スコアの向上が最大11%に達し、スタッキングの成績に近づいた。
• 単純な統計的プーリング関数（例：加重なし平均）は、SVMベースの複雑な関数と同等またはそれを上回った。
• 提案されたパイプラインは、複雑さの異なる4つの医療画像データセットすべてで一貫した改善を示した。
• アンサンブル学習の統合により、医療画像分類タスクにおけるモデルの頑健性と予測信頼性が著しく向上した。