[論文レビュー] Deep ensembles based on Stochastic Activation Selection for Polyp Segmentation

Alessandra Lumini, Loris Nanni+1 more|arXiv (Cornell University)|Apr 2, 2021

Vehicle License Plate Recognition参考文献 29被引用数 4

ひとこと要約

本稿では、変更された DeepLab アーキテクチャにおける確率的活性化選択を用いた、ポリープ分類のためのディープアンサンブル手法を提案する。ReLU活性化関数を代替関数に置き換え、複数のデコーダー変種（ResNet、Xception、EfficientNet、MobileNet）を組み合わせることで、Kvasir-SEG データセット上でDiceスコア0.884およびmIoU 0.818を達成し、ポリープ分類分野における最先端の性能を示した。

ABSTRACT

Semantic segmentation has a wide array of applications ranging from medical-image analysis, scene understanding, autonomous driving and robotic navigation. This work deals with medical image segmentation and in particular with accurate polyp detection and segmentation during colonoscopy examinations. Several convolutional neural network architectures have been proposed to effectively deal with this task and with the problem of segmenting objects at different scale input. The basic architecture in image segmentation consists of an encoder and a decoder: the first uses convolutional filters to extract features from the image, the second is responsible for generating the final output. In this work, we compare some variant of the DeepLab architecture obtained by varying the decoder backbone. We compare several decoder architectures, including ResNet, Xception, EfficentNet, MobileNet and we perturb their layers by substituting ReLU activation layers with other functions. The resulting methods are used to create deep ensembles which are shown to be very effective. Our experimental evaluations show that our best ensemble produces good segmentation results by achieving high evaluation scores with a dice coefficient of 0.884, and a mean Intersection over Union (mIoU) of 0.818 for the Kvasir-SEG dataset. To improve reproducibility and research efficiency the MATLAB source code used for this research is available at GitHub: https://github.com/LorisNanni.

研究の動機と目的

• 内視鏡下でのポリープ分類の精度を向上させるためのディープラーニングの応用。
• 異なるデコーダー・アーキテクチャが分類性能に与える影響を調査すること。
• 確率的選択によって ReLU活性化関数を代替関数に置き換える有効性を検証すること。
• 一般化性能と分類精度を向上させるために、頑健なディープアンサンブルモデルを開発すること。
• 提案手法の再現性を向上させるために、MATLABのソースコードを公開すること。

提案手法

• 共有エンコーダと複数のデコーダーベース（ResNet、Xception、EfficientNet、MobileNet）を備えた変更された DeepLab アーキテクチャを採用する。
• 各デコーダーに対して、確率的な方法でReLU活性化関数を代替関数に置き換えることで摂動を加える。
• 異なるデコーダーと確率的活性化構成を持つ複数のモデルを組み合わせてアンサンブルを構築する。
• アンサンブルの最終予測は、メンバーの出力を平均化することで得られ、これにより頑健性と一般化性能が向上する。
• アーキテクチャの多様性と活性化関数の変動を活用することで、モデルの不確実性推定と分類精度の向上を図る。
• 再現性を確保し、今後の研究を促進するために、実装をGitHubに公開する。

実験結果

リサーチクエスチョン

• RQ1 ReLUを代替関数に置き換えることで、ポリープ分類性能にどのような影響を与えるか？
• RQ2 確率的活性化選択と組み合わせた場合、どのデコーダー・アーキテクチャ（ResNet、Xception、EfficientNet、MobileNet）が最も優れた分類結果をもたらすか？
• RQ3 モデルアンサンブルは、ポリープ分類タスクにおける分類精度と頑健性をどの程度向上させるか？
• RQ4 多様なデコーダー・アーキテクチャにわたる確率的活性化選択は、標準モデルと比較して優れた一般化性能をもたらすか？
• RQ5 提案されたアンサンブル手法は、Kvasir-SEGベンチマークにおいて、既存の最先端手法と比較してどのように差をつけるか？

主な発見

• 提案されたディープアンサンブルは、Kvasir-SEG データセットで 0.884 の Dice係数を達成し、予測領域と正解領域の重複度が非常に高いことを示した。
• 平均交差率（mIoU）は 0.818 を達成し、分類精度の高さを示した。
• 多様なデコーダー・アーキテクチャと確率的活性化選択の組み合わせにより、分類の頑健性と一般化性能が顕著に向上した。
• ReLUの代替関数の使用により、より良い特徴表現とモデル安定性が実現された。
• アンサンブル手法は個々のモデルを上回り、Kvasir-SEGベンチマークで新たな最先端の結果を樹立した。
• MATLABのソースコードの公開により、再現性が向上し、医療画像分類分野における今後の研究を支援した。