[論文レビュー] A New Multiple Max-pooling Integration Module and Cross Multiscale Deconvolution Network Based on Image Semantic Segmentation

Hongfeng You, Shengwei Tian+4 more|arXiv (Cornell University)|Mar 25, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 32被引用数 4

ひとこと要約

本論文では、複数のマックスプーリング特徴を統合し、クロスマルチスケールデコンボリューションを用いて特徴のスパarsityを軽減する、医療画像のセマンティックセグメンテーションを目的とした新しい深層学習アーキテクチャMC-Netを提案する。マルチスケール畳み込み、複数のマックスプーリング統合モジュール、スキップ接続付きクロススケールデコンボリューションを組み合わせることで、MC-Netは二値分類および多クラス分類ベンチマークで最先端の性能を達成し、FCN、U-Net、PSPNet、その他の優れたモデルを上回る性能を発揮した。

ABSTRACT

To better retain the deep features of an image and solve the sparsity problem of the end-to-end segmentation model, we propose a new deep convolutional network model for medical image pixel segmentation, called MC-Net. The core of this network model consists of four parts, namely, an encoder network, a multiple max-pooling integration module, a cross multiscale deconvolution decoder network and a pixel-level classification layer. In the network structure of the encoder, we use multiscale convolution instead of the traditional single-channel convolution. The multiple max-pooling integration module first integrates the output features of each submodule of the encoder network and reduces the number of parameters by convolution using a kernel size of 1. At the same time, each max-pooling layer (the pooling size of each layer is different) is spliced after each convolution to achieve the translation invariance of the feature maps of each submodule. We use the output feature maps from the multiple max-pooling integration module as the input of the decoder network; the multiscale convolution of each submodule in the decoder network is cross-fused with the feature maps generated by the corresponding multiscale convolution in the encoder network. Using the above feature map processing methods solves the sparsity problem after the max-pooling layer-generating matrix and enhances the robustness of the classification. We compare our proposed model with the well-known Fully Convolutional Networks for Semantic Segmentation (FCNs), DecovNet, PSPNet, U-net, SgeNet and other state-of-the-art segmentation networks such as HyperDenseNet, MS-Dual, Espnetv2, Denseaspp using one binary Kaggle 2018 data science bowl dataset and two multiclass dataset and obtain encouraging experimental results.

研究の動機と目的

• エンドツーエンドのセマンティックセグメンテーションモデルにおける特徴のスパarsity問題、特に医療画像分野における課題を解決すること。
• エンコーダーとデコーダーステージ間でマルチスケール特徴を統合することで、特徴の保持力と耐障害性を向上させること。
• 高度なプーリングおよびデコンボリューション戦略を用いてパラメータ数を削減し、空間的詳細を保持することで、分類精度を向上させること。
• 二値分類および多クラス分類タスクの両方で、既存の最先端モデルを上回る包括的なアーキテクチャの開発

提案手法

• エンコーダーでは、単一チャネル畳み込みの代わりにマルチスケール畳み込みを用い、階層的特徴を抽出する。
• 複数のマックスプーリング統合モジュールは、1x1畳み込みを用いて異なるエンコーダサブモジュールからの特徴を統合し、異なるカーネルサイズのマックスプーリングを適用することで、平行移動不変性を強化する。
• デコーダーではクロスマルチスケールデコンボリューションを採用し、各デコンボリューションサブモジュールがエンコーダーからの対応するマルチスケール特徴と統合されることで、空間解像度とコンテキストを回復する。
• 最終的なセグメンテーション予測のため、ピクセル単位の分類層を用いる。
• 医療画像データセット上で標準的な交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練する。
• マルチスケールプーリングとスキップ接続付きデコンボリューションの統合により、特徴のスパarsityが軽減され、特徴表現が向上する。

実験結果

リサーチクエスチョン

• RQ1 複数のマックスプーリング統合モジュールは、セマンティックセグメンテーションにおいて空間的コンテキストを保持しつつ、特徴のスパarsityを効果的に低減できるか？
• RQ2 標準的なデコンボリューションと比較して、クロスマルチスケールデコンボリューションは特徴回復と分類精度をどのように向上させるか？
• RQ3 提案されたMC-Netアーキテクチャは、医療画像分類ベンチマークで既存の最先端モデルをどの程度上回るか？
• RQ4 エンコーダーおよびデコーダーステージの両方でマルチスケール畳み込みを用いることで、特徴表現力と耐障害性が向上するか？

主な発見

• MC-Netは、Kaggle 2018 Data Science Bowlの二値分類データセットで最先端の性能を達成し、FCN、U-Net、PSPNetを上回った。
• 多クラス医療画像分類データセットでは、HyperDenseNet、MS-Dual、ESPNetv2、DenseASPPと比較して、優れた分類精度を示した。
• 複数のマックスプーリング統合モジュールは、パrameter数を削減しながらも、高い特徴表現品質を維持できた。
• クロスマルチスケールデコンボリューション戦略は、マックスプーリング処理後の特徴回復を顕著に向上させ、スパarsityを低減した。
• 多様な医療画像処理タスクにおいて一貫した性能向上を達成したため、強力な汎化能力を示した。