[論文レビュー] PyTorch Connectomics: A Scalable and Flexible Segmentation Framework for EM Connectomics

Zudi Lin, Donglai Wei+2 more|arXiv (Cornell University)|Dec 10, 2021

Cell Image Analysis Techniques被引用数 27

ひとこと要約

PyTorch Connectomics (PyTC) は体積EM画像の意味論的およびインスタンス分割のためのオープンソースフレームワークで、スケーラブルなデータロード、柔軟なモデルアーキテクチャ、多ターゲット損失、および半教師付き/自己教師付き学習を可能にし、最先端の CREMI synaptic cleft の結果を達成します。

ABSTRACT

We present PyTorch Connectomics (PyTC), an open-source deep-learning framework for the semantic and instance segmentation of volumetric microscopy images, built upon PyTorch. We demonstrate the effectiveness of PyTC in the field of connectomics, which aims to segment and reconstruct neurons, synapses, and other organelles like mitochondria at nanometer resolution for understanding neuronal communication, metabolism, and development in animal brains. PyTC is a scalable and flexible toolbox that tackles datasets at different scales and supports multi-task and semi-supervised learning to better exploit expensive expert annotations and the vast amount of unlabeled data during training. Those functionalities can be easily realized in PyTC by changing the configuration options without coding and adapted to other 2D and 3D segmentation tasks for different tissues and imaging modalities. Quantitatively, our framework achieves the best performance in the CREMI challenge for synaptic cleft segmentation (outperforms existing best result by relatively 6.1$\%$) and competitive performance on mitochondria and neuronal nuclei segmentation. Code and tutorials are publicly available at https://connectomics.readthedocs.io.

研究の動機と目的

• EM connectomics データセットのサイズやモダリティの多様性に適した、拡張性のある柔軟なセグメンテーションツ toolkit のニーズに対応する。
• ニューロン、シナプス、ミトコンドリア、核を跨ぐ意味論的およびインスタンス分割を実現できるモジュラーなフレームワークを提供する。
• 限られたラベルと大量の未ラベルデータを活用するための多タスク学習、半-/自己教師付き学習、そして構成可能なアーキテクチャをサポートする。
• 異方性の2D/3Dデータと多様なイメージングモダリティを扱うための設定ファイルによる容易なカスタマイズを提供する。

提案手法

• データモジュール（Volume Dataset および Tile Dataset）によるスケーラブルなデータロード、2D/3Dまたは混在アーキテクチャを持つモデルモジュール、分散/非分散トレーニングとマルチGPU推論を扱うエンジンモジュール、再現性のための設定モジュール（YACS）という4要素のモジュール式システム。
• 単一の共有ネットワークから、複数ターゲットと複数のロス（例：foreground mask、instance contour、signed distance transform）を学習可能とするハイブリッド表現学習。
• 未ラベルデータを活用するためのアクティブおよび半教師付き学習ワークフロー（2-stream active query；擬似ラベルによる自己学習）。
• 順序付き2Dから3Dの畳み込みを経て非対称データ処理を可能にする柔軟なネットワークアーキテクチャ（U-Net、DeepLab 相当のバックボーン、混合の2D/3D畳み込みを選択可能）。
• 非空間的（対比、明るさ、ガンマ、欠落パーツ）および空間的（リスケール、ミスアラインメント）データ拡張、テスト時拡張（最大16 variants）。
• DataParallel または DistributedDataParallel を用いた分散トレーニング、前景密度を均衡させる非重複データ分割、大容量ボリュームを並列処理する推論ワークフロー。

実験結果

リサーチクエスチョン

• RQ1 単一のフレームワークで、設定可能なマルチターゲット損失を用いて、EM connectomics の意味論的およびインスタンス分割タスクの両方をどのようにサポートできるか？
• RQ2 スケーラブルなデータロードと分散トレーニングは、ペタバイト規模のEMデータセットの実用的な分割を可能にするか？
• RQ3 ハイブリッド表現と半-/自己教師付き学習は、ラベル付きデータが乏しい場合の分割性能を向上させるか？
• RQ4 ナノメートル解像EMデータに対する異方性2D/3Dアーキテクチャと混合畳み込みは有効か？
• RQ5 挑戦的な connectomics 分割タスクにおけるアクティブ学習と自己学習の利得はどの程度か？

主な発見

• PyTC は CREMI synaptic cleft 分割で最先端の成績を達成し、半教師付き学習により総合 CREMI スコアを前回の最良結果より6.1%向上させた。
• シナプティッククレフトデータでは SSL アプローチが CREMI 提出の中で首位に位置し、ADGT、ADF、CREMI 指標で既存手法を上回る。
• ミトコンドリア意味論分割では PyTC ベースのモデルが従来手法を上回り、単純な後処理で人間のアノテーション性能に近づくまたは超える。
• ミトコンドリアのインスタンス分割では MitoEM において U3D-BC/U3D-BCD モデルが競争力のある AP-75 を達成し、チャレンジ参加者の中で3位に入り、大規模なインスタンス分割での有効性を示した。
• 神経細胞核において U3D-BC および U3D-BCD 変種はいくつかのベースライン（Cellpose、Stardist）を上回り、距離マップ変種は総合 AP の約22%の改善と顕著な成果を示した。
• データセット全体で PyTC はスケーラブルなデータ処理（Volume vs Tile データセット）、マルチGPUトレーニング/推論、低ラベル環境に有利な柔軟なマルチターゲット学習を実証している。