[論文レビュー] Advanced Deep Networks for 3D Mitochondria Instance Segmentation

Mingxing Li, Chang Chen+4 more|arXiv (Cornell University)|Apr 16, 2021

Metabolomics and Mass Spectrometry Studies被引用数 5

ひとこと要約

本論文は、アノイソトロピック畳み込みブロックとマルチスケールトレーニングを用いて性能を向上させる、3D U-Netに基づく高度な深層ネットワークであるRes-UNet-RおよびRes-UNet-Hを提案する。電子顕微鏡画像におけるミトコンドリアインスタンスセグメンテーションに特化し、ISBI 2021 Large-scale 3D Mitochondria Instance Segmentation Challengeで1位を達成。ラットおよびヒトの両データセットで平均AP-75が0.840に達し、一般化性能を向上させるためにノイズ除去前処理を適用した。

ABSTRACT

Mitochondria instance segmentation from electron microscopy (EM) images has seen notable progress since the introduction of deep learning methods. In this paper, we propose two advanced deep networks, named Res-UNet-R and Res-UNet-H, for 3D mitochondria instance segmentation from Rat and Human samples. Specifically, we design a simple yet effective anisotropic convolution block and deploy a multi-scale training strategy, which together boost the segmentation performance. Moreover, we enhance the generalizability of the trained models on the test set by adding a denoising operation as pre-processing. In the Large-scale 3D Mitochondria Instance Segmentation Challenge at ISBI 2021, our method ranks the 1st place. Code is available at https://github.com/Limingxing00/MitoEM2021-Challenge.

研究の動機と目的

• 高解像度の電子顕微鏡データにおける正確な3Dミトコンドリアインスタンスセグメンテーションを実現するため、手動アノテーションが計算的に非現実的であるという課題に取り組む。
• ノイズレベルや構造的複雑さが著しく異なるラットおよびヒトのEMデータセットにおいて、セグメンテーション性能を向上させる。
• 補間ネットワークを用いたノイズ除去前処理ステップを導入することで、ノイジーなテストデータに対するモデルの一般化性能を向上させる。
• 既存手法を上回る性能を発揮するが、軽量なアーキテクチャを構築する。
• アノイソトロピック3D EMデータの処理において、アノイソトロピック畳み込みとマルチスケールトレーニングの有効性を検証する。

提案手法

• ラットサンプル用のRes-UNet-Rおよびヒトサンプル用のRes-UNet-Hという2つの特化型深層残差ネットワークを提案。画像品質の違いに対応するため、デコーダー構造を別個に設計。
• アノイソトロピック畳み込みブロック（ACB）を導入。1×3×3の初期畳み込みに続き、スカイプ接続を備えた2つの3×3×3畳み込みを実装し、EMデータに内在するアノイソトロピックな受容 field をよりよく捉える。
• マルチスケールトレーニング（MT）戦略を採用。有効な受容 field を拡大し、過学習を低減する。特に構造が複雑なヒトサンプルにおいて顕著な効果を示す。
• クラス不均衡に対処するため、重み付きバイナリクロスエントロピー（WBCE）損失関数を採用。前景比率に基づく重み付けにより、希なミトコンドリアの学習を改善。
• ヒトのEMデータにおけるノイジー領域の回復を目的に、補間ネットワークを用いたノイズ除去前処理を実施。これにより、テストセットにおけるモデルのロバスト性が向上。
• 予測されたセマンティックマップおよび境界マップから、シードマップの合成と連結成分ラベル付けによる後処理を実施し、最終的なインスタンスマスクを生成。

Fig. 1 : Network structure of Res-UNet-H. Note the decoder of Res-UNet-R has only one path to generate the semantic mask and the instance boundary simultaneously.

実験結果

リサーチクエスチョン

• RQ1 ノイジーなEMデータにおける3Dミトコンドリアインスタンスセグメンテーションにおいて、タスク特化型の軽量で効果的な深層ネットワークアーキテクチャは、一般的なU-Net変種を上回ることができるか？
• RQ2 アノイソトロピック畳み込みブロックの使用は、EM画像のアノイソトロピック解像度をよりよくモデル化することで、セグメンテーション精度を向上させるか？
• RQ3 マルチスケールトレーニングは、3Dミトコンドリアインスタンスセグメンテーションにおいて一般化性能を向上させ、過学習を低減するか？
• RQ4 ノイズ除去ネットワークによる前処理は、ノイジーなヒトのEMサンプルにおけるモデル性能をどの程度向上させるか？
• RQ5 Res-UNet-RとRes-UNet-Hのアーキテクチャ的差異は、ラットおよびヒトデータセットにおける性能にどのように影響を与えるか？

主な発見

• 本手法は、ISBI 2021チャレンジのリーダーボードで、平均75% IoUにおける平均精度（AP-75）が0.840に達し、全競合者を上回った。
• ダブルデコーダー構造を有するRes-UNet-Hは、ヒトデータセットでAP-75が0.816を達成。直接適用したRes-UNet-Rの0.783と比較して3.3%の向上を示した。
• マルチスケールトレーニング戦略により、Res-UNet-HにおけるAP-75が1.2%向上し、受容 field の拡大と過学習の低減の有効性が裏付けられた。
• アノイソトロピック畳み込みブロック（ACB）は、3D SE、ECA、Resブロックといったより複雑なブロックユニットを上回り、全テストセットでAP-75が0.913に達した。過学習の傾向も少なかった。
• ノイズ除去前処理により一般化性能が向上し、ヒトテストセットのAP-75が0.828から0.829に、ラットセットでは0.850から0.851に上昇した。
• 検証セットにおける可視化結果から、予測マスクが特に重なりや細長いミトコンドリアを有する複雑な領域でも、正解と高い一致を示した。

Fig. 2 : Visualized results on the MitoEM validation set.