[論文レビュー] Flood-Filling Networks

Michał Januszewski, Jeremy Maitin-Shepard+4 more|arXiv (Cornell University)|Nov 1, 2016

Advanced Electron Microscopy Techniques and Applications参考文献 18被引用数 38

ひとこと要約

Flood-Filling Networks (FFNs) は、シードボクセルから反復的にオブジェクトマスクを拡張することで、生の3D画像から直接オブジェクトをセグメンテーションするエンド・ツー・エンドでトレーニング可能な再帰的3次元畳み込みネットワークを導入し、マージエラーがゼロの状態で、接続体再構築において最先端の精度を達成した。これは、CNNベースの境界検出、ウォーターシェッドセグメンテーション、凝集手法を組み合わせたマルチステージパイプラインを凌駕した。

ABSTRACT

State-of-the-art image segmentation algorithms generally consist of at least two successive and distinct computations: a boundary detection process that uses local image information to classify image locations as boundaries between objects, followed by a pixel grouping step such as watershed or connected components that clusters pixels into segments. Prior work has varied the complexity and approach employed in these two steps, including the incorporation of multi-layer neural networks to perform boundary prediction, and the use of global optimizations during pixel clustering. We propose a unified and end-to-end trainable machine learning approach, flood-filling networks, in which a recurrent 3d convolutional network directly produces individual segments from a raw image. The proposed approach robustly segments images with an unknown and variable number of objects as well as highly variable object sizes. We demonstrate the approach on a challenging 3d image segmentation task, connectomic reconstruction from volume electron microscopy data, on which flood-filling neural networks substantially improve accuracy over other state-of-the-art methods. The proposed approach can replace complex multi-step segmentation pipelines with a single neural network that is learned end-to-end.

研究の動機と目的

• 従来のパイプラインにおける境界検出とセグメンテーションの乖離を解消するため、両者を1つのエンド・ツー・エンドでトレーニング可能なネットワークに統合すること。
• 電子顕微鏡におけるニューロンのプロセスなど、任意の大きさのオブジェクトを3次元ボリュームデータでセグメンテーション可能にするため、アーキテクチャ上のサイズ制限がないこと。
• マルチステップセグメンテーションパイプラインで一般的なマージエラーを最小限に抑え、接続体再構築における人為的誤差を低減すること。
• 複雑で複数のコンponentを持つワークフローを、1つの統合されたニューラルネットワークアーキテクチャに置き換えること。

提案手法

• FFN は、局所的な視野（FoV）を処理し、シードボクセルから反復的にオブジェクトマスクの確率マップを拡張する再帰的3次元畳み込みネットワークを用いる。
• 入力に特別な「オブジェクトマスクチャネル」を設け、反復処理間でセグメンテーション状態の明示的記憶を可能にし、オブジェクト境界の拡大または精緻化を可能にする。
• ネットワークは重複するFoVに対して反復的に適用され、仮想的なセグメンテーションキャンバスの現在の状態が更新され、次の推論ステップの入力としてフィードバックされる。
• ネットワークは、下位セグメンテーションと過剰セグメンテーションの両方をペナルティとする損失関数を用いてエンド・ツー・エンドでトレーニングされ、反復処理における累積誤差を反映する勾配が得られる。
• ヒューリスティックなFoV移動戦略により、現在のマスク予測における最大確率方向に従って、ネットワークの受容 field をボリューム全体で移動させる。
• ネットワークは、複数の重複する推論ステップを経てマスクを拡大可能であり、アーキテクチャ上サイズ制限がない。また、時間経過とともに自己の誤りを是正する学習を行う。

実験結果

リサーチクエスチョン

• RQ1 1つのエンド・ツー・エンドでトレーニング可能なニューラルネットワークが、3次元画像解析におけるマルチステージセグメンテーションパイプラインを置き換えることができるか？
• RQ2 明示的な境界検出なしに、重複する視野に対して反復的にオブジェクトマスクを拡大する深層ネットワークは、どのようにして学習することができるか？
• RQ3 マスク状態記憶を備えた再帰的3次元畳み込みが、最小限のマージエラーで接続体セグメンテーションにおいて最先端の手法を上回ることができるか？
• RQ4 バックプロパゲーションされた勾配を通じて、反復的マスク拡張の過程でネットワークが誤りをどの程度自己是正できるか？
• RQ5 複雑なニューロピル環境において、極めて多様なサイズと形状のオブジェクトに一般化できるか？

主な発見

• FFNs は、3次元CNNによる境界検出、ウォーターシェッドセグメンテーション、機械学習ベースの凝集手法（GALA や CELIS）を組み合わせた最先端のマルチステップパイプラインよりも顕著に高いセグメンテーション精度を達成した。
• FFN は接続体データセットにおいてゼロパーセントのマージレートを達成し、別個のニューロンが誤って結合されることのない、既存手法に比べて顕著な利点を示した。
• 複雑で手作業で設計されたワークフローを1つの統合アーキテクチャに置き換えたにもかかわらず、FFN はマルチステップパイプラインを上回った。
• FFNs の計算コストはベースラインパイプライン（CNN推論で0.14 PFLOP）よりも高い（4.6 PFLOP）、主にネットワークの深さと重複するFoVに対する繰り返し推論に起因する。
• 定性的な分析から、ミトコンドリアなどの超微細構造的特徴を組み込む、または距離変換に基づいてボクセルの重みを再設定することで、セグメンテーション品質をさらに向上させられると示唆された。
• 今後の研究では、計算コストの低減と、ヒューリスティックなFoV移動を学習されたポリシーに置き換えることを目指しており、エンド・ツー・エンド最適化と適応的処理が可能になる可能性がある。