[論文レビュー] Divided We Stand: A Novel Residual Group Attention Mechanism for Medical Image Segmentation

Chaitanya Kaul, Nick Pears+1 more|arXiv (Cornell University)|Dec 4, 2019

AI in cancer detection参考文献 22被引用数 5

ひとこと要約

この論文では、残差学習、グループ畳み込み、および新しい注意メカニズムを統合した新規の残差ブロックであるFocusNetAlphaを提案する。これらの要素をハイブリッド損失関数と組み合わせることで、ISIC 2018、細胞核、DRIVEデータセットにおいて最先端の性能を達成し、基本的な残差ブロックに対して5.6%、ResNeXtのグループ畳み込みブロックに対して1.3%のIoU向上を達成した。また、パラメータ数とFLOPsが少ないにもかかわらず、高い性能を発揮した。

ABSTRACT

Given that convolutional neural networks extract features via learning convolution kernels, it makes sense to design better kernels which can in turn lead to better feature extraction. In this paper, we propose a new residual block for convolutional neural networks in the context of medical image segmentation. We combine attention mechanisms with group convolutions to create our group attention mechanism, which forms the fundamental building block of FocusNetAlpha - our convolutional autoencoder. We adapt a hybrid loss based on balanced cross entropy, tversky loss and the adaptive logarithmic loss to create a loss function that converges faster and more accurately to the minimum solution. On comparison with the different residual block variants, we observed a 5.6% increase in the IoU on the ISIC 2017 dataset over the basic residual block and a 1.3% increase over the resneXt group convolution block. Our results show that FocusNetAlpha achieves state-of-the-art results across all metrics for the ISIC 2018 melanoma segmentation, cell nuclei segmentation and the DRIVE retinal blood vessel segmentation datasets with fewer parameters and FLOPs. Our code and pre-trained models will be publicly available on GitHub to maximize reproducibility.

研究の動機と目的

• より効果的な畳み込みカーネルの設計により、医療画像セグメンテーションにおける特徴抽出を向上させること。
• 標準的な残差ブロックやグループ畳み込みアーキテクチャの限界を克服し、複雑な解剖的構造をより適切に捉えること。
• グループ畳み込みと統合された新規の注意メカニズムにより、セグメンテーションの精度を向上させること。
• バランスの取れた交差エントロピー損失、Tversky損失、および適応的対数損失を組み合わせたハイブリッド損失関数を用いて、収束を加速させ、最適化の安定性を向上させること。
• パラメータ数とFLOPsの観点から、モデルの複雑さを低減しつつ最先端の性能を達成すること。

提案手法

• 残差学習とグループ畳み込み、および新規の注意メカニズムを統合した新しい残差ブロックを提案する。
• チャネルおよび空間の両方の次元で関連する特徴群に注目するグループ注意メカニズムを導入する。
• バランスの取れた交差エントロピー損失、Tversky損失、適応的対数損失を組み合わせたハイブリッド損失関数を採用し、学習のダイナミクスを改善する。
• 提案された残差ブロックから構築されたU-Netに類似した自己符号化器アーキテクチャとして、FocusNetAlphaを設計する。
• チャネルごとおよび空間的に注意を用いて、セグメンテーションタスクに対する関連性に基づき特徴マップを動的に再重み付けする。
• クラスの不均衡に強く、より速く最適解に収束するように損失関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 グループ畳み込みと注意メカニズムを統合した新規の残差ブロックは、医療画像分野におけるセグメンテーション精度を向上させることができるか？
• RQ2 提案されたグループ注意メカニズムは、標準的な残差ブロックやResNeXtブロックと比較して、特徴表現力およびセグメンテーション性能において優れているか？
• RQ3 ハイブリッド損失関数は、医療画像セグメンテーションの文脈で収束をどの程度加速させ、最適化の安定性を向上させるか？
• RQ4 提案されたアーキテクチャは、既存のモデルと比較して、より少ないパラメータ数とFLOPsで最先端の性能を達成できるか？
• RQ5 グループ化畳み込み内に注意を統合することで、皮膚病変、細胞核、網膜血管分類など多様な医療画像タスクにおける一般化性能が向上するか？

主な発見

• FocusNetAlphaは、ISIC 2017データセットにおいて、基本的な残差ブロックと比較して、交差領域（IoU）で5.6%の向上を達成した。
• FocusNetAlphaは、ISIC 2017データセットにおいて、ResNeXtのグループ畳み込みブロックと比較して、1.3%のIoU向上を達成した。
• FocusNetAlphaは、ISIC 2018のメラノーマセグメンテーション、細胞核セグメンテーション、DRIVEの網膜血管セグメンテーションの各データセットで、すべての指標において最先端の性能を達成した。
• ベースラインアーキテクチャと比較して、パラメータ数が少なく、FLOPsも低いにもかかわらず、優れた性能を発揮した。
• ハイブリッド損失関数により、トレーニング中に最適解への収束がより速く、正確に行われた。
• 提案手法は、皮膚病変、細胞核、網膜血管分類など多様な医療画像タスクにおいて、強力な一般化性能を示した。