[論文レビュー] HiFuse: Hierarchical Multi-Scale Feature Fusion Network for Medical Image Classification

Xiangzuo Huo, Gang Sun+6 more|arXiv (Cornell University)|Sep 21, 2022

Brain Tumor Detection and Classification被引用数 16

ひとこと要約

HiFuseは、CNNとTransformerの長所を組み合わせた、階層的マルチスケール特徴融合ネットワークを提案する。並列な局所的およびグローバル特徴ブロックに加え、スケールに適応したHFFブロックを用いることで、画像サイズに線形な計算複雑度を維持しつつ、最先端の精度を達成し、Covid-19データセットではベースラインを最大21.5%上回った。

ABSTRACT

Medical image classification has developed rapidly under the impetus of the convolutional neural network (CNN). Due to the fixed size of the receptive field of the convolution kernel, it is difficult to capture the global features of medical images. Although the self-attention-based Transformer can model long-range dependencies, it has high computational complexity and lacks local inductive bias. Much research has demonstrated that global and local features are crucial for image classification. However, medical images have a lot of noisy, scattered features, intra-class variation, and inter-class similarities. This paper proposes a three-branch hierarchical multi-scale feature fusion network structure termed as HiFuse for medical image classification as a new method. It can fuse the advantages of Transformer and CNN from multi-scale hierarchies without destroying the respective modeling so as to improve the classification accuracy of various medical images. A parallel hierarchy of local and global feature blocks is designed to efficiently extract local features and global representations at various semantic scales, with the flexibility to model at different scales and linear computational complexity relevant to image size. Moreover, an adaptive hierarchical feature fusion block (HFF block) is designed to utilize the features obtained at different hierarchical levels comprehensively. The HFF block contains spatial attention, channel attention, residual inverted MLP, and shortcut to adaptively fuse semantic information between various scale features of each branch. The accuracy of our proposed model on the ISIC2018 dataset is 7.6% higher than baseline, 21.5% on the Covid-19 dataset, and 10.4% on the Kvasir dataset. Compared with other advanced models, the HiFuse model performs the best. Our code is open-source and available from https://github.com/huoxiangzuo/HiFuse.

研究の動機と目的

• 医療画像におけるクラス内ばらつきとクラス間類似性の課題に、グローバルおよびローカル特徴を効果的に統合することで対処する。
• CNNの固定受容 field と、Transformerの自己注意機構による高コストの課題を克服する。
• 深層ネットワークを避け、勾配消失や特徴損失を回避しながら、高い性能を維持できるスケーラブルで効率的なアーキテクチャを設計する。
• 局所ブランチとグローバルブランチからのマルチスケールの意味的表現統合により、多様な医療画像データセットにおける分類精度を向上させる。

提案手法

• 局所的およびグローバル特徴ブロックを専用に設けた三本の並列アーキテクチャを提案し、マルチスケールの空間的および意味的表現を抽出する。
• 空間的アテンション、チャネルアテンション、リサイクルされたMLP、スキップ接続を統合した、適応型階層的特徴融合（HFF）ブロックを導入し、スケール固有の特徴統合を実現する。
• 階層的設計により、異なる意味的スケールでの柔軟なモデリングが可能であり、画像サイズに対して線形な計算複雑度を維持する。
• バックボーンとしてConvNeXtを採用し、Swin Transformerにインspiredされたブロックを統合することで、局所的なインダクティブバイアスと長距離依存性のモデリングをバランスさせる。
• ドロップパス正則化と深さスケーリングを適用し、小規模な医療画像データセットにおける過学習を制御し、性能最適化を図る。
• 2-fold交差検証と標準化されたデータ分割を用い、ISIC2018、Covid-19、Kvasirなどのデータセット間での公平な比較を保証する。

実験結果

リサーチクエスチョン

• RQ1 階層的マルチスケール統合フレームワークは、ローカルなCNNとグローバルなTransformer特徴を統合することで、医療画像分類精度を向上させることができるか？
• RQ2 提案されたHFFブロックは、標準的な連結や要素ごとの演算と比較して、異なる意味的スケールでの特徴統合をどのように向上させるか？
• RQ3 データサイズやモodal 特性が異なる多様な医療画像データセットに、HiFuseはどの程度一般化可能か？
• RQ4 特に小規模な医療画像データセットにおいて、モデルは深さを減らしても高い性能を維持できるか？

主な発見

• ISIC2018データセットでは、HiFuseはベースライン比7.6%高い精度を達成し、皮膚腫瘍分類において顕著な改善を示した。
• Covid-19データセットでは、ベースラインを21.5%上回り、ノイズの多い小規模な医療画像コレクションにおいて強力な性能を示した。
• HiFuse-SmallはKvasirデータセットで85.00%の精度と84.96%のF1スコアを達成し、Conformer や Swin-Bを含むすべての比較モデルを上回った。
• HiFuse-Baseは深さの増加によりわずかな精度低下を示したため、浅い構成でも最適な性能が達成可能であることが示された。
• モデルは画像サイズに対して線形な計算複雑度を維持しており、精度を犠牲にすることなく効率的な推論が可能である。
• 実験により、深層と浅層、グローバルとローカルの両方の特徴を捉えることが、医療画像分類タスクにおける性能向上に顕著に寄与することが確認された。