[論文レビュー] Attention U-Net: Learning Where to Look for the Pancreas

Ozan Oktay, Jo Schlemper+10 more|arXiv (Cornell University)|Apr 11, 2018

Advanced Neural Network Applications参考文献 31被引用数 4,524

ひとこと要約

本論文は Attention Gates を統合した U-Net（Attention U-Net）を導入し、標的構造へ焦点を合わせることを学習させ、CTにおける膵臓のセグメンテーションを外部のローカリゼーションモジュールなしで、最小限のオーバーヘッドで改善する。

ABSTRACT

We propose a novel attention gate (AG) model for medical imaging that automatically learns to focus on target structures of varying shapes and sizes. Models trained with AGs implicitly learn to suppress irrelevant regions in an input image while highlighting salient features useful for a specific task. This enables us to eliminate the necessity of using explicit external tissue/organ localisation modules of cascaded convolutional neural networks (CNNs). AGs can be easily integrated into standard CNN architectures such as the U-Net model with minimal computational overhead while increasing the model sensitivity and prediction accuracy. The proposed Attention U-Net architecture is evaluated on two large CT abdominal datasets for multi-class image segmentation. Experimental results show that AGs consistently improve the prediction performance of U-Net across different datasets and training sizes while preserving computational efficiency. The code for the proposed architecture is publicly available.

研究の動機と目的

• 医用画像で形状・サイズが大きく変動する臓器の正確なセグメンテーションを動機づける。
• attention gates (AGs) を導入することにより、多段階のカスケード型ローカリゼーションとセグメンテーションの必要性を排除する。
• AGs が、計算効率を維持しつつ、難易度の高い腹部 CT データセットでセグメンテーション性能を向上させることを示す。

提案手法

• グリッドベースのソフト加法的 Attention Gates を提案し、粗いスケールのゲーティング信号に条件づけられた画素ごとの注意係数を生成する。
• 標準的な 3D U-Net のスキップ接続に AGs を組み込み、特徴融合前に不要な活性化を抑制する。
• 効率的で低パラメータなゲーティングには1x1x1畳み込みを使用し、多クラスセグメンテーションには多次元アテンションを採用する。
• Dice lossを用いたエンドツーエンドのバックプロパゲーションと、スケール間の深い supervisory により、意味的に意味のあるゲートを促進する。

実験結果

リサーチクエスチョン

• RQ1 Attention Gates を含む U-Net は、膵臓のように形状変動が大きい臓器のセグメンテーション精度を改善できるか？
• RQ2 AGs は外部ローカリゼーションモジュールへの依存を減らし、精度と効率を維持または向上させるか？
• RQ3 Attention U-Net は異なるデータセットとトレーニングサイズでどのように性能を発揮するか？
• RQ4 多クラス腹部セグメンテーションにおける recall および境界精度に対する AGs の影響は何か？

主な発見

• Attention U-Net は2つの腹部 CT データセットで標準 U-Net より一貫してセグメンテーション性能を向上させ、（例： pancreas Dice score は 0.814 から 0.840 へ、120/30 の train/test 分割で改善）
• AGs は膵臓の recall と全体的なセグメンテーション精度を、計算オーバーヘッドの大幅な増加やモデルパラメータの大幅な増加なしに高める。
• AGs の追加は、トレーニングデータが減少しても改善をもたらし、データセットサイズに対するロバスト性を示す（例：120/30 から 30/120 への分割）。
• Attention マップは訓練中に膵臓、腎臓、脾臓へと局在し、スケールを跨いだ解釈可能なゲーティング挙動を示す。
• TCIA Pancreas-CT ベンチマークでは、Attention U-Net はマルチモデルカスケードなしで競争力のある、あるいはしばしば上回る結果を示し、高容量の Vanilla U-Nets よりパラメータ数が少ない。