[論文レビュー] Bridging the Gap Between 2D and 3D Organ Segmentation.

Yingda Xia, Lingxi Xie+4 more|arXiv (Cornell University)|Apr 2, 2018

Advanced Neural Network Applications参考文献 14被引用数 6

ひとこと要約

本論文は、複数の視点で2Dネットワークを学習し、軽量な3Dボリュメトリックフュージョンネット（VFN）を用いて出力を統合することで、標準の3Dネットワークよりもパrameterが少なく、より優れたセグメンテーション精度と安定性を達成するハイブリッド2D-3Dフレームワークを提案している。この手法は、データ効率を向上させるためにクロスクロスオーグメンテーションを採用し、挑戦的な腹部臓器データセットにおいて2Dおよび3Dベースラインを上回る性能を発揮している。

ABSTRACT

There has been a debate on whether to use 2D or 3D deep neural networks for volumetric organ segmentation. Both 2D and 3D models have their advantages and disadvantages. In this paper, we present an alternative framework, which trains 2D networks on different viewpoints for segmentation, and builds a 3D Volumetric Fusion Net (VFN) to fuse the 2D segmentation results. VFN is relatively shallow and contains much fewer parameters than most 3D networks, making our framework more efficient at integrating 3D information for segmentation. We train and test the segmentation and fusion modules individually, and propose a novel strategy, named cross-cross-augmentation, to make full use of the limited training data. We evaluate our framework on several challenging abdominal organs, and verify its superiority in segmentation accuracy and stability over existing 2D and 3D approaches.

研究の動機と目的

• ボリュメトリック臓器セグメンテーションにおける2Dと3Dディープラーニングモデルのどちらが優れているかという論争を解決すること。
• 3Dネットワークの計算およびパrameterの負担を軽減しつつ、3D空間的文脈を保持すること。
• 新規なデータオーグメンテーション戦略を用いて、限られた学習データでもセグメンテーションの性能と安定性を向上させること。
• 2Dと3Dアプローチのギャップを、2D予測を3D一貫性のある出力に統合することで埋めること。

提案手法

• 3Dボリュームの軸方向、矢状方向、冠状方向の複数の視点で2D畳み込みニューラルネットワークを学習させ、マルチプレーンな文脈を捉えること。
• 2D予測を統合して一貫性のある3Dセグメンテーション出力を得るための浅い3Dボリュメトリックフュージョンネット（VFN）を設計すること。
• 一般化を向上させるために、セグメンテーションモジュールとフュージョンモジュールの別々の学習およびテストプロトコルを採用すること。
• 異なる視点にわたる変換を適用することで、有効な訓練データの多様性を高める、クロスクロスオーグメンテーションというデータオーグメンテーション戦略を導入すること。
• VFN内での学習されたアテンションまたは連結メカニズムを用いて2D予測を統合し、空間的一致性を保持すること。

実験結果

リサーチクエスチョン

• RQ1 マルチビュー予測を活用することで、2Dベースのアプローチが3Dセグメンテーション性能を達成できるか？
• RQ2 軽量な3Dフュージョンネットワークは、モデルの複雑さを顕著に低減しつつ、精度を維持または向上させられるか？
• RQ3 クロスクロスオーグメンテーションは、限られた学習データ条件下でも一般化を効果的に向上させられるか？
• RQ4 提案されたフレームワークは、最先端の2Dおよび3Dセグメンテーションモデルと比較して、精度と安定性において優れているか？

主な発見

• 提案されたフレームワークは、複数の腹部臓器において、2Dおよび3Dベースラインモデルよりも高いセグメンテーション精度を達成している。
• ボリュメトリックフュージョンネット（VFN）は、標準の3Dネットワークと比較して顕著に少ないパラメータ数を有しており、効率性が向上している。
• クロスクロスオーグメンテーションは、モデルのロバスト性と性能を向上させており、特にデータが限られた状況下で顕著である。
• このフレームワークは、異なる臓器種別および画像プロトコルにおいて、改善された安定性を示している。