[論文レビュー] Thickened 2D Networks for 3D Medical Image Segmentation.

Qihang Yu, Yingda Xia+3 more|arXiv (Cornell University)|Apr 2, 2019

Medical Image Segmentation Techniques被引用数 4

ひとこと要約

本論文では、複数の連続するCTスライスを2次元畳み込みネットワークのマルチチャネル入力として供給することで、3次元の文脈的情報を統合し、3次元医療画像セグメンテーションを向上させる「厚みのある2次元ネットワーク」を提案する。初期段階でのマルチプレクシングとスライスに敏感なアテンションを用いることで、複雑な腹部臓器や血管、特に3次元構造が複雑な部位において優れた性能を達成しつつ、推論遅延を低く保ち、標準的な2次元手法や競合する3次元手法を上回る。

ABSTRACT

There has been a debate in 3D medical image segmentation on whether to use 2D or 3D networks, where both pipelines have advantages and disadvantages. 2D methods enjoy a low inference time and greater transfer-ability while 3D methods are superior in performance for hard targets requiring contextual information. This paper investigates efficient 3D segmentation from another perspective, which uses 2D networks to mimic 3D segmentation. To compensate the lack of contextual information in 2D manner, we propose to thicken the 2D network inputs by feeding multiple slices as multiple channels into 2D networks and thus 3D contextual information is incorporated. We also put forward to use early-stage multiplexing and slice sensitive attention to solve the confusion problem of information loss which occurs when 2D networks face inputs. With this design, we achieve a higher performance while maintaining a lower inference latency on a few abdominal organs from CT scans, in particular when the organ has a peculiar 3D shape and thus strongly requires contextual information, demonstrating our method's effectiveness and ability in capturing 3D information. We also point out that thickened 2D inputs pave a new method of 3D segmentation, and look forward to more efforts in this direction. Experiments on segmenting a few abdominal targets in particular blood vessels which require strong 3D contexts demonstrate the advantages of our approach.

研究の動機と目的

• 3次元医療画像セグメンテーションにおける推論速度と文脈モデリングのトレードオフを解消すること。
• 完全な3次元ネットワークの計算コストをかけずに、2次元ネットワークが3次元空間的文脈を捉えられるようにすること。
• 入力表現の改善とアテンション機構の導入により、ボリュメトリックデータの2次元処理における情報損失を低減すること。
• 複雑な3次元形態を示す臓器に対して、複数スライスの入力スタックが3次元ネットワークの有効な代替手段となり得ることを示すこと。
• 修正された2次元アーキテクチャを用いた効率的な3次元セグメンテーションの新しいパラダイムを確立すること。

提案手法

• 標準的な2次元畳み込みネットワークに、複数の連続するCTスライスをマルチチャネル入力として供給し、3次元受容 field を模倣すること。
• ネットワークの初期段階でマルチプレクシングを適用し、複数スライスの特徴を早期に統合することで、より良い特徴融合を実現すること。
• スライスに敏感なアテンションを導入し、異なるスライスからの特徴を動的に重み付けすることで、混乱を軽減し、空間的文脈を保持すること。
• 2次元推論効率を維持しながらも、3次元文脈的理解を強化するネットワークアーキテクチャを設計すること。
• 3次元畳み込みを用いずに、複数スライス入力戦略を用いて深さ方向の関係を暗黙的にモデル化すること。
• 3次元形状が複雑で文脈モデリングが特に重要な腹部臓器および血管を対象に、ネットワークを最適化すること。

実験結果

リサーチクエスチョン

• RQ1 複数スライスの入力スタックによって、2次元ネットワークが医療画像セグメンテーションにおいて3次元文脈的情報を効果的に捉えられるか？
• RQ2 2次元ネットワークがボリュメトリックデータを処理する際、初期段階でのマルチプレクシングが特徴学習をどのように向上させるか？
• RQ3 スライスに敏感なアテンションは、3次元ボリュームの2次元処理における情報損失をどの程度軽減できるか？
• RQ4 厚みのある2次元アプローチは、3次元ネットワークと同等の性能を達成しつつ、低遅延を維持できるか？
• RQ5 本手法は、強い3次元文脈を要する複雑な3次元形状（例：ねじれの多い血管）に対しても一般化可能か？

主な発見

• 厚みのある2次元ネットワークは、3次元形態が複雑な腹部臓器において、標準的な2次元ネットワークよりも高いセグメンテーション性能を達成した。
• 3次元文脈を統合しているにもかかわらず、推論遅延は標準的な2次元ネットワークと同等に低く保たれた。
• 特に複雑な3次元構造を示す血管に対して、ベースラインの3次元ネットワークを上回る性能を示した。
• 初期段階でのマルチプレクシングとスライスに敏感なアテンションは、3次元データの2次元処理における情報損失を顕著に低減し、特徴表現を改善した。
• 厚みのある2次元入力戦略は、3次元受容 field を効果的に模倣し、2次元ネットワークが長距離の空間的依存関係を捉えることを可能にした。
• 結果として、複数スライスの入力スタックが、3次元医療画像セグメンテーションにおいて、完全な3次元ネットワークの代替手段として実用的かつ効率的であることが示された。