[論文レビュー] Deep Learning Based Instance Segmentation in 3D Biomedical Images Using Weak Annotation

Zhuo Zhao, Lin Yang+4 more|arXiv (Cornell University)|Jun 28, 2018

Medical Image Segmentation Techniques参考文献 6被引用数 5

ひとこと要約

本論文は、すべてのインスタンスに対して3次元バウンディングボックスのみを用い、一部のインスタンスに対しては完全なボクセルマスクを適用する2段階の3次元インスタンスセグメンテーションフレームワークを提案する。これにより、アノテーション作業の負担を著しく軽減する。本手法は、完全に教師ありのモデルと同等の性能を達成しながら、顕著に少ないアノテーション時間を要し、類似したアノテーション制約下で既存の手法を上回る性能を示す。

ABSTRACT

Instance segmentation in 3D images is a fundamental task in biomedical image analysis. While deep learning models often work well for 2D instance segmentation, 3D instance segmentation still faces critical challenges, such as insufficient training data due to various annotation difficulties in 3D biomedical images. Common 3D annotation methods (e.g., full voxel annotation) incur high workloads and costs for labeling enough instances for training deep learning 3D instance segmentation models. In this paper, we propose a new weak annotation approach for training a fast deep learning 3D instance segmentation model without using full voxel mask annotation. Our approach needs only 3D bounding boxes for all instances and full voxel annotation for a small fraction of the instances, and uses a novel two-stage 3D instance segmentation model utilizing these two kinds of annotation, respectively. We evaluate our approach on several biomedical image datasets, and the experimental results show that (1) with full annotated boxes and a small amount of masks, our approach can achieve similar performance as the best known methods using full annotation, and (2) with similar annotation time, our approach outperforms the best known methods that use full annotation.

研究の動機と目的

• 3次元生物学的インスタンスセグメンテーションに必要な高コストかつ長時間のアノテーションを軽減し、ディープラーニングモデルの学習を促進すること。
• 非常に時間がかかるため大規模な3次元生物学的データセットでは現実的でない完全なボクセルマスクアノテーションへの依存を減らすこと。
• 3次元バウンディングボックスと限定的な完全マスクアノテーションを用いた弱教師ありの、実用的でエンドツーエンドの3次元インスタンスセグメンテーションモデルを開発すること。
• 限定的な完全マスクアノテーションでも、弱教師あり学習が完全に教師ありの手法と同等の性能を達成できることを示すこと。
• エキスパートのアノテーション負担を最小限に抑えることで、生物学的画像処理における高速かつスケーラブルな3次元インスタンスセグメンテーションを実現すること。

提案手法

• 2段階の3次元インスタンスセグメンテーションモデルを提案：第1段階では、3次元バウンディングボックスアノテーションを用いてすべてのインスタンスを検出する3次元オブジェクト検出器を実装。第2段階では、検出されたインスタンスのうち少数のものに対して完全なボクセルマスクを用いて3次元ボクセルセグメンテーションヘッドを実行。
• ボクセル特徴の前向きおよび後ろ向き方向への直接的な特徴伝搬を可能にするために、VoxResブロックを採用し、3次元ボリュームネットワークにおける特徴学習を向上。
• 3次元に適応された領域提案ネットワーク（RPN）に基づく3次元オブジェクト検出器を採用。アノテーションのアノテーションを用いたアノテーションに基づくボックス座標と分類スコアの予測を実装。
• 分類損失（ロジスティック損失）と回帰損失（スムーズL1）を組み合わせたマルチタスク損失関数を採用。検出と局所化のバランスをとるために重み付き和を用いる。
• 第2段階で、3次元特徴マップから検出されたバウンディングボックスに特徴をアライメントするためにRoIAlignを適用。これによりマスク予測の正確性が向上。
• 完全なボクセルマスクの割合を小さく抑える（HL60細胞では20%、ミクログリアでは30%）一方で、すべてのインスタンスに対して完全なバウンディングボックスアノテーションを提供。これにより弱教師あり学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 すべてのインスタンスに対して3次元バウンディングボックスのみを用い、一部のインスタンスに対してはスパースな完全ボクセルマスクを用いることで、3次元インスタンスセグメンテーションモデルが高い性能を達成できるか？
• RQ2 類似したアノテーション時間制約下で、提案された2段階の弱教師ありアプローチが完全に教師ありの手法を上回るか？
• RQ3 インスタンスレベルの情報が強いとされるバウンディングボックスアノテーションを用いることで、完全なマスクアノテーションと比較して検出性能にどのような影響を与えるか？
• RQ4 限定的な完全マスクアノテーションを用いた弱教師あり学習が、完全にアノテートされたモデルと比較してどの程度のセグメンテーション精度を達成できるか？
• RQ5 多様な3次元生物学的データセット（インスタンス密度や複雑さが異なる）に対しても、モデルの汎用性はどの程度保たれるか？

主な発見

• HL60細胞データセットでは、20%の完全マスクアノテーションを用いた本手法が、検出F1スコア0.9783、セグメンテーションF1スコア0.8927を達成。類似したアノテーション時間制約下で、完全にアノテートされたベースラインを上回った。
• わずか5.5時間のアノテーション時間で、検出F1が0.9783に達し、22.5時間のアノテーションを要する完全にアノテートされたVoxResNetモデルを上回った。
• ミクログリアデータセットでは、30%の完全マスクアノテーションを用いた本手法が、セグメンテーションF1スコア0.8424を達成。類似したアノテーション時間（54.7時間 vs. 172.9時間）で、完全にアノテートされたVoxResNetモデル（F1 = 0.8484）を上回った。
• C. elegansデータセットでは、67個の完全マスクと1,527個のバウンディングボックスのみを用いても、検出F1スコアが0.9495に達し、マスクラベルが非常にスパースな状況でも高い検出性能を示した。
• アノテーション時間の制約下では、完全にアノテートされたモデルを上回る性能を示した。弱教師あり学習がバウンディングボックスとスパースマスクを用いることで、より効率的かつ効果的であることが実証された。
• バウンディングボックスアノテーションを検出に、スパースなマスクを精緻化に用いることで、アノテーションコストを著しく削減しながら高い性能を達成でき、大規模な生物学的画像処理における3次元インスタンスセグメンテーションの実用化を可能にした。