[論文レビュー] 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation

Özgün Çiçek, Ahmed Abdulkadir+3 more|arXiv (Cornell University)|Jun 21, 2016

Advanced Neural Network Applications参考文献 12被引用数 491

ひとこと要約

本論文は U-Net を 3D に拡張し、まばらにアノテーションされたスライスを用いて体積的な生体医学画像を高密度にセグメンテーションする。これにより半自動的な密化と、ゼロからのエンドツーエンド訓練による完全自動セグメンテーションを実現する。

ABSTRACT

This paper introduces a network for volumetric segmentation that learns from sparsely annotated volumetric images. We outline two attractive use cases of this method: (1) In a semi-automated setup, the user annotates some slices in the volume to be segmented. The network learns from these sparse annotations and provides a dense 3D segmentation. (2) In a fully-automated setup, we assume that a representative, sparsely annotated training set exists. Trained on this data set, the network densely segments new volumetric images. The proposed network extends the previous u-net architecture from Ronneberger et al. by replacing all 2D operations with their 3D counterparts. The implementation performs on-the-fly elastic deformations for efficient data augmentation during training. It is trained end-to-end from scratch, i.e., no pre-trained network is required. We test the performance of the proposed method on a complex, highly variable 3D structure, the Xenopus kidney, and achieve good results for both use cases.

研究の動機と目的

• 密に3Dセグメンテーションを、まばらにアノテーションされた体積データから実現する。
• ユーザーが指定するスライスをガイドとして、全体積セグメンテーションの半自動ワークフローを提供する。
• 代表的な疎ラベルの訓練データセットから、完全自動セグメンテーションを可能にする。
• Xenopus 腎という複雑な3D生体構造でアプローチを実証し、2Dアプローチに対する利得を定量化する。

提案手法

• 操作をすべて3Dの等価物に置換（3D畳み込み、3D最大プーリング、3Dアップ-畳み込み）して2D U-Netアーキテクチャを3Dへ拡張する。
• ボトルネックを用いないアーキテクチャを採用し、訓練を加速するためにバッチ正規化を適用する。
• ラベルなしボクセルを無視する重み付きソフトマックス損失で、ゼロからのエンドツーエンド訓練を行い、疎なアノテーションから学習可能にする。
• 数少ないラベル付きスライスからの一般化を高めるため、データ拡張としてオンザ-fly 弾性変形を適用する。
• 大規模体積を扱い、3Dデータサイズでの訓練を可能にするタイル化戦略を採用する。
• OpenSource の Caffe ベース実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 3D完全畳み込みネットワークは、疎にアノテーションされたスライスから密な体積セグメンテーションを学習できるのか？
• RQ2 3D U-Net は、半自動的な密化のために疎なアノテーションで訓練した場合、2Dアプローチと比べてどのようになるのか？
• RQ3 半自動および完全自動の設定で、アノテーションスライスの数がセグメンテーション性能に与える影響は？
• RQ4 この低サンプル・高次元設定で、バッチ正規化は性能を向上させるのか？
• RQ5 方法は、 highly variable な3D生物学的構造（Xenopus腎）でどの程度機能し、新しいボリュームへ一般化するのか？

主な発見

• 半自動セグメンテーションでは、BNを用いた3D U-Net が平均で IoU ≈ 0.863（折り合わせ平均）を達成し、2Dベースラインを上回る。
• アノテーションスライス数を増やすと IoU は非線形に改善され、非常に少ないスライスからでも大きな利得が得られる。
• 完全自動セグメンテーションでは、BN を使った3Dモデルが一般に2Dより優れているが、BN が高度に異質なデータ設定では効果が薄い場合もある。
• 3D アーキテクチャは、半自動および完全自動のいずれのシナリオでも、2D実装より定量的な性能向上を提供する。
• このアプローチはゼロから訓練可能で、事前訓練済みネットワークを必要としない。