[論文レビュー] Efficient 3D Fully Convolutional Networks for Pulmonary Lobe Segmentation in CT Images

Hoileong Lee, Tahreema Matin+2 more|arXiv (Cornell University)|Sep 16, 2019

Lung Cancer Diagnosis and Treatment参考文献 46被引用数 13

ひとこと要約

本稿では、CTスキャンにおける肺葉の自動セグメンテーションを目的とした、非常に効率的な3次元フルコンボリューショナルネットワークであるPLS-Netを提案する。3次元ディープワイズ分離畳み込み、拡張された残差密ブロック、および入力強化を統合することで、計算コストとメモリ使用量を低減しつつ、最先端のセグメンテーション精度を達成し、標準的なGPU上で高解像度の推論を可能にした。1スキャンあたりの平均推論時間は0.8秒である。

ABSTRACT

The human lung is a complex respiratory organ, consisting of five distinct anatomic compartments called lobes. Accurate and automatic segmentation of these pulmonary lobes from computed tomography (CT) images is of clinical importance for lung disease assessment and treatment planning. However, this task is challenging due to ambiguous lobar boundaries, anatomical variations and pathological deformations. In this paper, we propose a high-resolution and efficient 3D fully convolutional network to automatically segment the lobes. We refer to the network as Pulmonary Lobe Segmentation Network (PLS-Net), which is designed to efficiently exploit 3D spatial and contextual information from high-resolution volumetric CT images for effective volume-to-volume learning and inference. The PLS-Net is based on an asymmetric encoder-decoder architecture with three novel components: (i) 3D depthwise separable convolutions to improve the network efficiency by factorising each regular 3D convolution into two simpler operations; (ii) dilated residual dense blocks to efficiently expand the receptive field of the network and aggregate multi-scale contextual information for segmentation; and (iii) input reinforcement at each downsampled resolution to compensate for the loss of spatial information due to convolutional and downsampling operations. We evaluated the proposed PLS-Net on a multi-institutional dataset that consists of 210 CT images acquired from patients with a wide range of lung abnormalities. Experimental results show that our PLS-Net achieves state-of-the-art performance with better computational efficiency. Further experiments confirm the effectiveness of each novel component of the PLS-Net.

研究の動機と目的

• CT画像における肺葉の自動セグメンテーションを目的とした、効率的で高解像度の3次元フルコンボリューショナルネットワークの開発。
• 曖昧な裂け目、病的な変形、解剖学的変異といった、肺葉セグメンテーションの課題への対処。
• セグメンテーション精度を損なわずに計算効率を向上させ、標準GPU上でのデプロイを可能にする。
• 多スケールの文脈的特徴を統合し、ダウンサンプリングによる空間情報の損失を補償する。
• 多様な臨床的CTスキャン（病理所見や画像取得プロトコルのばらつきあり）においても、堅牢性を検証する。

提案手法

• 特徴抽出と空間解像度のバランスを取るために、非対称なエンコーダ・デコーダアーキテクチャを採用する。
• 3次元ディープワイズ分離畳み込みを用いて、標準的な3次元畳み込みを分解し、空間的およびチャネル別演算を因子化することで、パラメータ数とFLOPsを削減する。
• 拡張された残差密ブロック（DRDB）により、ネットワークの受容野を拡大し、多スケールの文脈的特徴を統合してセグメンテーション性能を向上させる。
• プーリングおよび畳み込み演算による情報損失を軽減するため、各ダウンサンプリング解像度にわたって入力強化を適用する。
• さらにメモリ消費量を削減し、推論速度を向上させるために、ミックスド・プレシジョン推論を活用する。
• ネットワークは、多施設の210例のCTスキャンで構成されるデータセット上で訓練および評価された。

実験結果

リサーチクエスチョン

• RQ1 3次元フルコンボリューショナルネットワークは、計算効率を維持したまま、肺葉セグメンテーションで最先端の性能を達成できるか？
• RQ2 3次元ディープワイズ分離畳み込みは、セグメンテーション精度を著しく低下させることなく、モデルサイズと推論時間をどれほど削減できるか？
• RQ3 拡張された残差密ブロックは、ボリュームリックな肺CTデータにおいて、特徴表現とセグメンテーション精度をどの程度向上させるか？
• RQ4 複数スケールでの入力強化は、空間情報損失を補償することで、セグメンテーション性能をどのように向上させるか？
• RQ5 提案されたネットワークは、重度の病理所見や不完全な裂け目を示す多様な臨床的CTスキャンにおいて、一般化能力を堅牢に発揮できるか？

主な発見

• PLS-Netは、210例の多施設データセットにおいて最先端の性能を達成し、既存手法を上回るセグメンテーション精度を示した。
• 3次元ディープワイズ分離畳み込みの導入により、モデルパラメータ数とFLOPsが削減されたが、精度の低下は最小限に抑えられ、効率的な推論が可能になった。
• 拡張された残差密ブロックにより、3次元ボリューム全体にわたる多スケールの文脈的情報を捉えることで、特徴学習が顕著に向上した。
• 各解像度レベルでの入力強化により、空間情報損失が効果的に軽減され、境界検出性能の向上に寄与した。
• GTX 1080 Ti GPU上での1スキャンあたりの平均推論時間は0.8秒であり、リアルタイム実行の可能性を示した。
• 特徴マップの可視化により、PLS-Netが裂け目、気管支、血管、肋骨郭などの重要な解剖学的構造を学習していることが確認され、解剖学的推論能力を裏付けた。