[論文レビュー] Large-Scale Electron Microscopy Image Segmentation in Spark

Stephen M. Plaza, Stuart Berg|arXiv (Cornell University)|Apr 1, 2016

Advanced Electron Microscopy Techniques and Applications参考文献 9被引用数 8

ひとこと要約

本論文は、メモリ内処理、チェックポイント、および新規のステッチ戦略を用いて、局所的セグメンテーションアーチファクトに起因する誤差伝搬を最小限に抑える、大規模な電子顕微鏡画像セグメンテーションのスケーラブルでSparkベースのフレームワークを提示する。このフレームワークは、誤差に強いステッチ戦略、チェックポイント、メモリ内処理を備え、大規模なコネクトミクスデータセットの堅牢で分散処理を可能にし、実際のコネクトミクスデータセット上で検証され、誤ったマージエラーが顕著に削減された。

ABSTRACT

The emerging field of connectomics aims to unlock the mysteries of the brain by understanding the connectivity between neurons. To map this connectivity, we acquire thousands of electron microscopy (EM) images with nanometer-scale resolution. After aligning these images, the resulting dataset has the potential to reveal the shapes of neurons and the synaptic connections between them. However, imaging the brain of even a tiny organism like the fruit fly yields terabytes of data. It can take years of manual effort to examine such image volumes and trace their neuronal connections. One solution is to apply image segmentation algorithms to help automate the tracing tasks. In this paper, we propose a novel strategy to apply such segmentation on very large datasets that exceed the capacity of a single machine. Our solution is robust to potential segmentation errors which could otherwise severely compromise the quality of the overall segmentation, for example those due to poor classifier generalizability or anomalies in the image dataset. We implement our algorithms in a Spark application which minimizes disk I/O, and apply them to a few large EM datasets, revealing both their effectiveness and scalability. We hope this work will encourage external contributions to EM segmentation by providing 1) a flexible plugin architecture that deploys easily on different cluster environments and 2) an in-memory representation of segmentation that could be conducive to new advances.

研究の動機と目的

• 単一マシンの容量を超えるテラボクセルスケールの電子顕微鏡データセットを効果的にセグメンテーションする課題に対処すること。
• 特に誤ったマージを含む、局所的セグメンテーションの失敗に起因する誤差伝搬を、グローバルなコネクトーム再構築に最小限に抑えること。
• 最小限のI/Oで、分散コンピューティングを用いて効率的かつフェイルセーフな大規模EMデータセット処理を可能にすること。
• 新しいセグメンテーションアルゴリズムの統合と、多様なクラスタ環境への展開を容易にする、柔軟なプラグインベースのアーキテクチャを提供すること。
• スケーラブルなメモリ内セグメンテーションを支援し、コネクトミクス分野における将来のアルゴリズム的進展を促進すること。

提案手法

• フレームワークはApache Sparkで実装され、大規模なEMボリュームの並列かつ分散処理を可能にし、ディスクI/Oを低減するメモリ内データ表現を採用する。
• セグメンテーションコンponent（例：分類器、ステッチロジック）を分離するためのプラグインアーキテクチャを採用し、モジュラーな交換と評価を可能にする。
• チェックポイントメカニズムを用いて中間計算状態を保存し、ジョブ障害からの迅速な回復を可能にし、完全な再処理を回避する。
• 新規のサブボリュームステッチ戦略は、保守的マッチング（式1および式3）と積極的マッチング（式2を含む）を組み合わせ、隣接するサブボリュームセグメントをマージしながら、誤ったマージを最小限に抑える。
• ストレージを抽象化し、バージョニングと効率的なデータアクセスを可能にする、ボリュームデータサービスDVIDと統合する。
• セグメンテーション品質は、誤差を誤ったマージと誤ったスプリットに分解するためのバリエーション・オブ・インフォメーション（VI）を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 分散処理とメモリ内セグメンテーションを組み合わせたフレームワークは、誤差伝搬を最小限に抑えつつ、テラボクセルスケールのEMデータセットにスケーラブルに適用可能だろうか？
• RQ2 保守的ステッチ戦略は、大規模なEMボリューム全体にわたり、誤ったマージエラーを積極的ステッチ戦略と比較してどれほど効果的に低減できるだろうか？
• RQ3 チェックポイントとフェイルセーフ設計により、長時間実行されるセグメンテーションパイプラインにおけるジョブ障害時の再処理コストはどの程度低減できるだろうか？
• RQ4 プラグインベースのアーキテクチャは、多様なコンピューティング環境にわたり、新しいセグメンテーションアルゴリズムの迅速な反復と展開を可能にするだろうか？
• RQ5 メモリ内表現によるセグメンテーションは、パフォーマンスの向上をもたらし、コネクトミクス分野における新たなアルゴリズム戦略の実現を可能にするだろうか？

主な発見

• 保守的ステッチ戦略は、メダラ（medulla）データセットにおいて、ステッチなしの基準と比較して誤ったマージエラーを85％削減し、全体のVIが4.41から2.28に改善され、48％の向上を達成した。
• マッシュルームボディ（mushroom body）データセットでは、保守的ステッチ戦略により、誤ったマージVIが4.36から1.60に低下し、高品質なセグメンテーション領域での誤差抑制が顕著に示された。
• メダラデータセットでは、積極的ステッチ戦略が誤ったマージエラー（VI：0.05から2.76に上昇）を増加させた。これは、過度に積極的なマージがグローバルな正確性を損なう可能性があることを示している。
• 400GBのEMボリューム上で、システムはスケーラビリティと効率的な回復を示し、チェックポイントにより障害後の迅速なロールバックが可能であった。
• ヒートマップ分析から、メダラデータセットの下部領域に誤ったマージのホットスポットが局所的に確認され、大規模ボリュームにおける誤差の非一様分布のリスクが浮き彫りになった。
• ベースラインのステッチなしと比較して、フレームワークは全体のセグメンテーション誤差を有意に低減した。これは、大規模コネクトミクスにおける文脈に配慮したステッチ戦略の有効性を証明している。