[論文レビュー] MESAHA-Net: Multi-Encoders based Self-Adaptive Hard Attention Network with Maximum Intensity Projections for Lung Nodule Segmentation in CT Scan

Muhammad Usman, Azka Rehman+6 more|arXiv (Cornell University)|Apr 4, 2023

Lung Cancer Diagnosis and TreatmentMedicine被引用数 3

ひとこと要約

本稿では、CTスキャンにおける正確で効率的な3次元肺結節セグメンテーションのための軽量でエンドツーエンドのディーブラーニングフレームワーク、MESAHA-Netを提案する。マルチエンコーダー入力（生の2次元スライスパッチ、双方向最大強度投影（MIP）画像、および適応的ROIマスク）と自己適応ハード注目メカニズムを統合することで、MESAHA-Netは正確なスライス単位の2次元セグメンテーションを可能にし、それが集約されて堅牢な3次元ボリュメトリック出力となる。LIDC-IDRIデータセットにおいて、セグメンテーション精度と推論速度の両面で最先端の手法を上回っている。

ABSTRACT

Accurate lung nodule segmentation is crucial for early-stage lung cancer diagnosis, as it can substantially enhance patient survival rates. Computed tomography (CT) images are widely employed for early diagnosis in lung nodule analysis. However, the heterogeneity of lung nodules, size diversity, and the complexity of the surrounding environment pose challenges for developing robust nodule segmentation methods. In this study, we propose an efficient end-to-end framework, the multi-encoder-based self-adaptive hard attention network (MESAHA-Net), for precise lung nodule segmentation in CT scans. MESAHA-Net comprises three encoding paths, an attention block, and a decoder block, facilitating the integration of three types of inputs: CT slice patches, forward and backward maximum intensity projection (MIP) images, and region of interest (ROI) masks encompassing the nodule. By employing a novel adaptive hard attention mechanism, MESAHA-Net iteratively performs slice-by-slice 2D segmentation of lung nodules, focusing on the nodule region in each slice to generate 3D volumetric segmentation of lung nodules. The proposed framework has been comprehensively evaluated on the LIDC-IDRI dataset, the largest publicly available dataset for lung nodule segmentation. The results demonstrate that our approach is highly robust for various lung nodule types, outperforming previous state-of-the-art techniques in terms of segmentation accuracy and computational complexity, rendering it suitable for real-time clinical implementation.

研究の動機と目的

• 結節の不均一性、サイズのばらつき、複雑な解剖的周囲によるCTスキャンにおける肺結節セグメンテーションの課題に対処すること。
• 3次元およびボクセルレベルのセグメンテーション手法で一般的に見られる計算複雑性とリスケーリングに起因する誤差を低減すること。
• 反復的2次元スライス単位処理を通じて、効率的でリアルタイムな3次元セグメンテーションを可能にする軽量でエンドツーエンドのフレームワークを構築すること。
• MIPと適応的注目を用いたマルチスケールの空間的および文脈的情報統合により、セグメンテーション精度を向上させること。
• LIDC-IDRIベンチマークデータセットにおいて、セグメンテーション性能と推論効率の両面で既存の最先端手法を上回ること。

提案手法

• MESAHA-Netは、3種類の異なる入力タイプ（生の2次元CTスライスパッチ、前向きおよび後向きの最大強度投影（MIP）画像、ハード注目から導出された領域オブイエクト（ROI）マスク）を処理する3つの並列エンコーディングパスを採用する。
• 本モデルは、各スライスにおける結節領域にネットワークの注目を動的に集中させる新規の自己適応ハード注目メカニズムを用いる。これにより、背景構造への注目が低減され、リスケーリングに起因する誤差が最小限に抑えられる。
• フレームワークは反復的でスライス単位の2次元セグメンテーションを実行し、注目誘導型の特徴学習により、スライス間での結節境界の正確な推定が可能になる。
• 共有のデコーダーパathは、3つのエンコーダーからの特徴を統合し、局所的なテクスチャとグローバルな文脈的手がかりの両方を活用してセグメンテーション予測を精緻化する。
• アーキテクチャは軽量に設計されており、スライスごとに96×96のパッチ入力を使用するため、フルスライス処理を回避し、計算負荷を低減する。
• 最終的な3次元セグメンテーションは、スライス単位の予測を集約して再構築され、バイナリクロスエントロピー損失とDice損失を用いてエンドツーエンドでモデルを訓練する。

Figure 1: Multiple visual appearances of the pulmonary nodule are shown. The variations within a nodule can be seen from column (a) to (e), and the inter-nodule difference is presented from rows (i) to (iv).

実験結果

リサーチクエスチョン

• RQ1 生のCTパッチ、双方向MIP、適応的ROIマスクを統合するマルチエンコーダー構造が、3次元肺結節セグメンテーションの精度を向上させることができるか？
• RQ2 自己適応ハード注目メカニズムは、3次元またはフルスライスアプローチと比較して、2次元パッチ単位のセグメンテーションにおけるリスケーリングに起因する誤差をどの程度低減するか？
• RQ3 提案されたフレームワークは、多様な結節タイプとサイズにおいて、計算コストを最小限に抑えながらも、性能を維持できるか？
• RQ4 軽量でエンドツーエンドの2次元パッチ単位のネットワークは、精度と推論速度の両面で、既存の3次元および2次元の最先端モデルを上回ることができるか？

主な発見

• MESAHA-Netは、LIDC-IDRIデータセットで最高のDice類似係数（DSC）0.867を達成し、以前の最先端手法を上回った。
• スライスあたり12.3 msという最短の推論時間を記録し、計算効率においてRes-UNetやDEHA-Netを顕著に上回った。
• パrameter数がたった120万個であるため、比較対象の手法の中で最も軽量であり、臨床現場でのリアルタイムデプロイメントを可能にした。
• 小型および棘状の結節を含む、あらゆる結節タイプとサイズにおいて一貫した性能を維持した。これは、形態的多様性に対して高いロバストネスを示している。
• 定性的な結果から、MESAHA-Netは複数スライスにわたって正確に結節をセグメンテーションし、正確な3次元再構築を生成しており、正解と密接に一致した。
• アブレーションスタディにより、双方向MIPと適応的ROIマスクの導入が、ベースライン設定と比較して顕著にセグメンテーション性能を向上させたことが確認された。

Figure 2: The overall architecture of proposed multi-encoder self-adaptive hard attention network (MESAHA-Net) for Lung Nodule segmentation is demonstrated.