[論文レビュー] Attention Mechanisms in Medical Image Segmentation: A Survey

Yutong Xie, Bing Yang+4 more|arXiv (Cornell University)|May 29, 2023

Advanced Neural Network Applications被引用数 19

ひとこと要約

この調査は、医用画像分割の注意ベースの手法を非Transformer系とTransformer系に分類し、それらの原理、実装、適用タスクを分析し、将来の課題を概説する。

ABSTRACT

Medical image segmentation plays an important role in computer-aided diagnosis. Attention mechanisms that distinguish important parts from irrelevant parts have been widely used in medical image segmentation tasks. This paper systematically reviews the basic principles of attention mechanisms and their applications in medical image segmentation. First, we review the basic concepts of attention mechanism and formulation. Second, we surveyed over 300 articles related to medical image segmentation, and divided them into two groups based on their attention mechanisms, non-Transformer attention and Transformer attention. In each group, we deeply analyze the attention mechanisms from three aspects based on the current literature work, i.e., the principle of the mechanism (what to use), implementation methods (how to use), and application tasks (where to use). We also thoroughly analyzed the advantages and limitations of their applications to different tasks. Finally, we summarize the current state of research and shortcomings in the field, and discuss the potential challenges in the future, including task specificity, robustness, standard evaluation, etc. We hope that this review can showcase the overall research context of traditional and Transformer attention methods, provide a clear reference for subsequent research, and inspire more advanced attention research, not only in medical image segmentation, but also in other image analysis scenarios.

研究の動機と目的

• 医用画像分割における注意機構の基本原理と定式化を明確にする。
• 既存の手法を系統的にNon-TransformerとTransformer-based attentionに分類する。
• 機構原理（何を）、実装（どう）、適用タスク（どこで）の3つの観点から注意機構を分析する。
• この分野の将来の研究を導くために利点・限界・現在の課題を評価する。

提案手法

• 注意を数学的に Attention = f(g(x), x) と定義し、g(x) を生成された注意、f を処理関数とする。
• 300件を超える記事を調査し、Non-TransformerとTransformer-based注意のグループに分類する。
• 注意がネットワーク内でどこで使用されるかを説明する（エンコーダのボトルネック、エンコーダの段階、デコーダ、スキップ接続、ハイブリッド）と、どのように（チャンネル、空間、時間、または組み合わせ）。
• 脳、乳房、心臓、肝臓、肺、前立腺、眼、皮膚、手術器具など、臓器とモダリティを横断したタスク別分析を提供する。
• 現状、欠点、将来の課題を要約する。たとえばタスク特異性と頑健性など。

実験結果

リサーチクエスチョン

• RQ1 医用画像分割で用いられる基本的な注意機構は何か（Non-Transformer対Transformer-based）？
• RQ2 注意機構はネットワークアーキテクチャ（エンコーダ、デコーダ、スキップ接続、ハイブリッド）内でどのように実装・統合されているか？
• RQ3 注意ベースの分割手法が適用される主要な適用ドメインとタスクは何か、そして残る課題は何か？
• RQ4 異なるモダリティとデータセットにおける注意ベース手法の利点と制約は何か？
• RQ5 医用画像分割における注意研究の今後の方向性と課題はどのように見えるか？

主な発見

• 注意機構は医用画像分割において情報豊富な領域に焦点を当てるとともに解釈性を提供するためにますます用いられている。
• 二つの主要なカテゴリはNon-Transformer注意とTransformer-based注意であり、Transformer手法が主流カテゴリとして台頭している。
• Non-Transformer注意はしばしばエンコーダ、デコーダ、スキップ接続、またはネットワーク段階を横断してプラグインサブレイヤとして挿入され、受容野を拡大し文脈をモデル化する。
• Transformerベースの手法は自己注意ブロックを活用して長距離依存を捉え、Vision Transformerの採用以降、医用分割研究の急速な成長を牽引している。
• 注意モジュールにはチャンネル、空間、時間の形式が含まれ、CBAM、DANet、注意ゲート、非局所ブロック、多尺度スキームなどのさまざまなアーキテクチャで組み合わせられている。
• 多地点（エンコーダ、デコーダ、スキップ接続）に跨る注意を適用するハイブリッド設計は、異なる注意形式の相補的な利点を活かすために一般的である。