[論文レビュー] D2A U-Net: Automatic Segmentation of COVID-19 Lesions from CT Slices with Dilated Convolution and Dual Attention Mechanism

Xiangyu Zhao, Peng Zhang+7 more|arXiv (Cornell University)|Feb 10, 2021

COVID-19 diagnosis using AI参考文献 30被引用数 6

ひとこと要約

本稿では、拡張畳み込みと二重アテンション機構（GAMとDAM）を組み合わせた深層学習モデル、D2A U-Netを提案する。このモデルは、CTスキャンにおけるCOVID-19肺病変の自動分類を改善し、特徴表現と受容 field を向上させ、事前学習済みのResNeXt-50バックボーンを用いてDiceスコア0.7298を達成し、誤検出を顕著に低減し、再現率を向上させた。

ABSTRACT

Coronavirus Disease 2019 (COVID-19) has caused great casualties and becomes almost the most urgent public health events worldwide. Computed tomography (CT) is a significant screening tool for COVID-19 infection, and automated segmentation of lung infection in COVID-19 CT images will greatly assist diagnosis and health care of patients. However, accurate and automatic segmentation of COVID-19 lung infections remains to be challenging. In this paper we propose a dilated dual attention U-Net (D2A U-Net) for COVID-19 lesion segmentation in CT slices based on dilated convolution and a novel dual attention mechanism to address the issues above. We introduce a dilated convolution module in model decoder to achieve large receptive field, which refines decoding process and contributes to segmentation accuracy. Also, we present a dual attention mechanism composed of two attention modules which are inserted to skip connection and model decoder respectively. The dual attention mechanism is utilized to refine feature maps and reduce semantic gap between different levels of the model. The proposed method has been evaluated on open-source dataset and outperforms cutting edges methods in semantic segmentation. Our proposed D2A U-Net with pretrained encoder achieves a Dice score of 0.7298 and recall score of 0.7071. Besides, we also build a simplified D2A U-Net without pretrained encoder to provide a fair comparison with other models trained from scratch, which still outperforms popular U-Net family models with a Dice score of 0.7047 and recall score of 0.6626. Our experiment results have shown that by introducing dilated convolution and dual attention mechanism, the number of false positives is significantly reduced, which improves sensitivity to COVID-19 lesions and subsequently brings significant increase to Dice score.

研究の動機と目的

• CT画像におけるCOVID-19肺病変の正確で自動的な分類に課題が残っていること、これは病変の形態が多様で境界がぼやいていることが原因である。
• 特徴表現とモデルのアテンションを強化することで、小さな病変や明確でない病変の検出感度を高め、誤検出を低減する。
• 拡張畳み込みと二重アテンションモジュールを統合したU-Netベースのアーキテクチャを開発し、既存の最先端モデルを上回る分類性能を向上させる。
• オープンソースデータセットを用いてモデルの性能を評価し、U-Netの変種（特に訓練から開始したモデル）と比較する。
• アブレーションスタディを通じて、個々の構成要素（GAM、RAB、事前学習バックボーン）の寄与を調査する。

提案手法

• デコーダーに拡張畳み込みモジュールを採用し、受容 field を拡大し、さまざまなサイズの病変の分類を向上させる。
• 新しいゲートアテンションモジュール（GAM）を導入し、エンコーダー特徴と意味的豊富なゲート信号を融合することで、スキップ接続を精緻化する。
• デコーダーにデコーダー・アテンションモジュール（DAM）を適用し、アップサンプリングされた特徴マップを精緻化し、ぼやけたまたは微小な病変の表現を強化する。
• リーマンス・アテンション・ブロック（RAB）は、ハイブリッド拡張畳み込みとDAMを組み合わせ、デコーダーで受容 field を拡大すると同時に特徴の精緻化を向上させる。
• モデルは、スキップ接続とデコーダー特徴の両方に独立して作用する二重アテンション機構を採用し、エンコーダーとデコーダーのレベル間の意味的ギャップを低減する。
• モデルは、VGGスタイルのバックボーンと、より深いResNeXt-50（32×4d）バックボーンの両方を用いて評価し、転移学習の有無を問わず検証した。

実験結果

リサーチクエスチョン

• RQ1 拡張畳み込みと二重アテンション機構の統合が、CTスキャンにおけるCOVID-19肺病変の分類精度を向上させることができるか？
• RQ2 提案されたゲートアテンションモジュール（GAM）は、標準的なU-Netのスキップ接続と比較して、どのように特徴表現を向上させるか？
• RQ3 デコーダー・アテンションモジュール（DAM）は、ぼやけたまたは明確でない境界の病変の分類にどの程度寄与するか？
• RQ4 拡張畳み込みとアテンションを統合したリーマンス・アテンション・ブロック（RAB）は、標準的なU-Netブロックを上回る病変分類性能を示すか？
• RQ5 アブレーションスタディを通じて、個々の構成要素（GAM、RAB、事前学習バックボーン）が全体の性能にどの程度寄与しているか？

主な発見

• 事前学習済みのResNeXt-50（32×4d）バックボーンを搭載したD2A U-Netは、Diceスコア0.7298および再現率0.7071を達成し、最先端モデルを上回った。
• 事前学習バックボーンを搭載しない簡素化されたD2A U-Netでも、Diceスコア0.7047および再現率0.6626を達成し、訓練から開始した代表的なU-Net変種を上回った。
• アブレーションスタディにより、ゲートアテンションモジュール（GAM）が性能向上に顕著に寄与することが確認され、DiceスコアがU-Netの0.6384から0.6771に上昇した。
• GAMとRABの組み合わせにより、相乗効果が得られ、Diceスコアは0.7047に上昇し、個々の寄与の合計を上回った。
• 事前学習バックボーンの使用により性能がさらに向上し、ピクセル誤差は0.0323から0.0311に低下し、再現率は0.7071に上昇した。
• 可視化比較では、D2A U-NetがU-Net、Attention U-Net、U-Net++と比較して、微小またはぼやけた病変に対してもより正確で感度の高い分類マスクを生成した。