[論文レビュー] MaxViT-UNet: Multi-Axis Attention for Medical Image Segmentation

Abdul Rehman, Asifullah Khan|arXiv (Cornell University)|May 15, 2023

Brain Tumor Detection and Classification被引用数 8

ひとこと要約

この論文は、最大ViT-UNetを提案します。医用画像分割のためのハイブリッドCNN-Transformerエンコーダ-デコーダで、マルチ軸自己注意を備えたハイブリッドデコーダを用いて、メモリと計算量を抑えつつ核の分割を改善します。

ABSTRACT

Since their emergence, Convolutional Neural Networks (CNNs) have made significant strides in medical image analysis. However, the local nature of the convolution operator may pose a limitation for capturing global and long-range interactions in CNNs. Recently, Transformers have gained popularity in the computer vision community and also in medical image segmentation due to their ability to process global features effectively. The scalability issues of the self-attention mechanism and lack of the CNN-like inductive bias may have limited their adoption. Therefore, hybrid Vision transformers (CNN-Transformer), exploiting the advantages of both Convolution and Self-attention Mechanisms, have gained importance. In this work, we present MaxViT-UNet, a new Encoder-Decoder based UNet type hybrid vision transformer (CNN-Transformer) for medical image segmentation. The proposed Hybrid Decoder is designed to harness the power of both the convolution and self-attention mechanisms at each decoding stage with a nominal memory and computational burden. The inclusion of multi-axis self-attention, within each decoder stage, significantly enhances the discriminating capacity between the object and background regions, thereby helping in improving the segmentation efficiency. In the Hybrid Decoder, a new block is also proposed. The fusion process commences by integrating the upsampled lower-level decoder features, obtained through transpose convolution, with the skip-connection features derived from the hybrid encoder. Subsequently, the fused features undergo refinement through the utilization of a multi-axis attention mechanism. The proposed decoder block is repeated multiple times to segment the nuclei regions progressively. Experimental results on MoNuSeg18 and MoNuSAC20 datasets demonstrate the effectiveness of the proposed technique.

研究の動機と目的

• 医用画像分割において局所的な文脈と全体的な文脈の両方を捉えるためにハイブリッドCNN-Transformerアーキテクチャを動機づける。
• MaxViT-UNetを提案する。これはハイブリッドデコーダを備えたUNet風のエンコーダ-デコーダで、マルチアクシス注意を用いてアップサンプルされたデコーダ機能とスキップ接続機能を融合する。
• 背景から核を区別する際の計算資源とメモリ負荷を低減しつつ識別能力を向上させる。）

提案手法

• 医用画像分割のためのUNet型ハイブリッドCNN-TransformerアーキテクチャであるMaxViT-UNetを導入する。
• ハイブリッドデコーダを設計し、下位レベルデコーダ機能（転置畳み込み経由）をハイブリッドエンコーダのスキップ接続機能と統合する。
• 各デコーディング段階内でマルチア-axis注意機構を適用して特徴を精製する。
• 提案デコーダブロックを複数回繰り返し、核領域を段階的に分割する。
• MoNuSeg18およびMoNuSAC20データセットで有効性を示す。

実験結果

リサーチクエスチョン

• RQ1 マルチアクシス注意を備えたCNN-Transformerハイブリッドアーキテクチャは、標準的なUNetや純粋なTransformerアプローチと比べて核の分割を改善できるか。
• RQ2 提案されたハイブリッドデコーダは、注意機構を用いてエンコーダ-デコーダ機能を効果的に融合し、分割境界を強化できるか。
• RQ3 医用画像における対象と背景の識別に対するマルチアクシス注意の影響は何か。
• RQ4 MoNuSeg18およびMoNuSAC20データセットにおける分割品質と効率の観点でどのような性能を示すか。

主な発見

• MaxViT-UNetアーキテクチャはMoNuSeg18およびMoNuSAC20データセットで有効性を示す。
• デコーダ内にマルチアクシス注意を組み込むことで、核と背景領域の識別性が向上する。
• ハイブリッドデコーダはリファインメント前にアップサンプルされたデコーダ機能とスキップ接続エンコーダ機能を統合し、段階的な核の分割を可能にする。
• このアプローチは、画質向上を達成しつつメモリと計算負荷を名目上抑えることを目指す。