[論文レビュー] Recursive Training of 2D-3D Convolutional Networks for Neuronal Boundary Detection

Kisuk Lee, Aleksandar Zlateski+2 more|arXiv (Cornell University)|Aug 20, 2015

Cell Image Analysis Techniques参考文献 37被引用数 31

ひとこと要約

本論文は、高配向性の連続断層電子顕微鏡（EM）画像における神経細胞境界検出の向上を目的として、再帰的でハイブリッド2次元-3次元畳み込みニューラルネットワーク（VD2D3D）を提案する。2次元特徴抽出の深さと3次元文脈モデリングを組み合わせ、予備の境界マップを再帰的に用いて予測を精錬することで、従来の2次元のみのモデルを上回る最先端の精度を達成した。ZNNを用いたCPUベースの3次元畳み込みにより、効率的な処理が可能となった。

ABSTRACT

Efforts to automate the reconstruction of neural circuits from 3D electron microscopic (EM) brain images are critical for the field of connectomics. An important computation for reconstruction is the detection of neuronal boundaries. Images acquired by serial section EM, a leading 3D EM technique, are highly anisotropic, with inferior quality along the third dimension. For such images, the 2D max-pooling convolutional network has set the standard for performance at boundary detection. Here we achieve a substantial gain in accuracy through three innovations. Following the trend towards deeper networks for object recognition, we use a much deeper network than previously employed for boundary detection. Second, we incorporate 3D as well as 2D filters, to enable computations that use 3D context. Finally, we adopt a recursively trained architecture in which a first network generates a preliminary boundary map that is provided as input along with the original image to a second network that generates a final boundary map. Backpropagation training is accelerated by ZNN, a new implementation of 3D convolutional networks that uses multicore CPU parallelism for speed. Our hybrid 2D-3D architecture could be more generally applicable to other types of anisotropic 3D images, including video, and our recursive framework for any image labeling problem.

研究の動機と目的

• 連続断層電子顕微鏡（EM）画像における神経細胞境界検出を改善すること。これらの画像はz方向分解能が低く、アライメントアーチファクトを有する。
• 完全に2次元のConvNetの限界を克服するため、ハイブリッド2次元および3次元フィルタを用いて3次元文脈情報を統合すること。
• 予備の境界検出ネットワークの出力を用いて2番目のネットワークを再帰的に訓練することで、特徴表現を向上させ、信号対雑音比を向上させること。
• ZNNフレームワークを介してマルチコアCPU並列処理を活用し、大規模な3次元EMボリュームにおける深層3次元ConvNetの効率的な訓練を可能にすること。

提案手法

• ReLU活性化関数、小規模なフィルタ、プーリング操作の間の複数の畳み込み層を用いて、より深い2次元畳み込みネットワーク（VD2D）を最初に訓練し、予備の境界マップを生成する。
• 2番目のネットワーク（VD2D3D）は、元の画像と予備の境界マップを入力として用い、2次元および3次元畳み込みフィルタを併用することで、配向性のあるEMデータにおける3次元空間的文脈を活用する。
• 再帰的訓練フレームワークは、VD2Dの出力をVD2D3Dの調整入力として用い、エンドツーエンドの誤差逆伝播により境界予測の反復的精錬を可能にする。
• ZNN（CPU最適化された3次元ConvNetライブラリ）を用いて訓練を高速化し、大規模な出力パッチベースの訓練と密な特徴マップ計算を可能にすることで、3次元学習の効率を高めた。
• アーキテクチャは階層的特徴学習を活用しており、VD2D3Dにおける高レベル表現が、文脈的情報の再帰的統合を通じて境界関連信号を強調し、雑音を抑制する。
• ソフトマックス出力層をx、y、z方向のアフィニティを表す3つの独立したユニットに置き換えることで、3次元アフィニティグラフの生成が可能となる。

実験結果

リサーチクエスチョン

• RQ1 標準的な2次元のみのモデルと比較して、より深い2次元-3次元ハイブリッドConvNetアーキテクチャは、配向性のある3次元EM画像における境界検出精度を向上させることができるか？
• RQ2 予備の境界マップを2番目のネットワークにフィードバックする再帰的訓練戦略は、境界検出における特徴表現の向上と信号対雑音比の向上に寄与するか？
• RQ3 主に2次元アーキテクチャに3次元フィルタを統合することで、低z分解能であっても、連続断層EMデータにおける3次元文脈を効果的にモデル化できるか？
• RQ4 ZNNは、大規模な3次元EMデータセットにおける深層3次元ConvNetの訓練において、GPUベースのフレームワークと比較して実用的で効率的な代替手段とみなせるか？
• RQ5 再帰的精錬は、霊長目視覚処理で観察されるトップダウン的注意メカニズムをどれほど模倣するか？

主な発見

• VD2D3Dモデルは、ISBI’12 2次元EMセグメンテーションベンチマークにおいて、2次元マックスプーリングConvNetに基づく従来の最先端モデル（N4）を顕著に上回る最先端の性能を達成した。
• 再帰的訓練戦略により、境界表現の信号対雑音比が向上し、境界信号が強調され、背景雑音が抑制された特徴マップの可視化が得られた。
• 3次元フィルタを後段の層に組み込んだハイブリッド2次元-3次元アーキテクチャは、配向性のある分解能であっても、3次元文脈を効果的に捉え、複雑な境界領域での曖昧さの解消に寄与した。
• ZNNにより、CPU上での深層3次元ConvNetの効率的訓練が可能となり、密な特徴マップ計算とパッチベースの訓練を伴う大規模な3次元EMボリュームの処理が現実可能となった。
• 再帰的フレームワークにより、高レベルの予測からのトップダウンフィードバックが低レベルの特徴マップを調整し、階層的特徴学習が実現され、検出精度が向上した。
• 本手法は汎用的である：再帰的訓練パラダイムとハイブリッド2次元-3次元フィルタ設計は、動画処理や3次元画像ラベリングを含む、他の配向性のある3次元画像タスクへも応用可能である。