[論文レビュー] Deep and Wide Multiscale Recursive Networks for Robust Image Labeling

Gary B. Huang, Viren Jain|arXiv (Cornell University)|Oct 1, 2013

Cell Image Analysis Techniques被引用数 24

ひとこと要約

本稿では、広範な特徴表現、マルチスケールおよび再帰的処理による大きな受容 field、および新しい局所誤差密度重み付け方式を組み合わせた、頑健な画像ラベリングを目的とした Deep and Wide Multiscale Recursive (DAWMR) ネットワークを提案する。このアーキテクチャは、3Dニューロン回路再構築において最先端の性能を達成し、12層の DAWMR モデルが境界予測で 95.22% の Rand Index を達成しており、標準的な畳み込みネットワークを著しく上回っている。

ABSTRACT

Feedforward multilayer networks trained by supervised learning have recently demonstrated state of the art performance on image labeling problems such as boundary prediction and scene parsing. As even very low error rates can limit practical usage of such systems, methods that perform closer to human accuracy remain desirable. In this work, we propose a new type of network with the following properties that address what we hypothesize to be limiting aspects of existing methods: (1) a `wide' structure with thousands of features, (2) a large field of view, (3) recursive iterations that exploit statistical dependencies in label space, and (4) a parallelizable architecture that can be trained in a fraction of the time compared to benchmark multilayer convolutional networks. For the specific image labeling problem of boundary prediction, we also introduce a novel example weighting algorithm that improves segmentation accuracy. Experiments in the challenging domain of connectomic reconstruction of neural circuity from 3d electron microscopy data show that these "Deep And Wide Multiscale Recursive" (DAWMR) networks lead to new levels of image labeling performance. The highest performing architecture has twelve layers, interwoven supervised and unsupervised stages, and uses an input field of view of 157,464 voxels ($54^3$) to make a prediction at each image location. We present an associated open source software package that enables the simple and flexible creation of DAWMR networks.

研究の動機と目的

• 既存の深層ネットワークの画像ラベリングにおける限界、特に狭い特徴表現と視野の制限を解消すること。
• 神経回路のコンネクトミクス再構築など、高リスク分野における境界予測およびシーン解析の精度を向上させること。
• 再帰的段階を経由するバックプロパゲーションを回避する平行化可能でエンドツーエンドでないアーキテクチャにより、高速な学習を可能にすること。
• 計算効率の良い例の重み付け方式を開発し、トポロジカルに重要な難易度の高いセグメンテーション領域に学習を集中させること。
• 再帰的反復処理と広範な特徴学習が、複雑な3D画像ラベリングタスクにおいて標準的な深層ネットワークを著しく上回ることを実証すること。

提案手法

• DAWMR ネットワークは、1層あたり数千の特徴量を持つ広範なマルチスケールアーキテクチャを採用し、高い表現能力を実現する。
• コアネットワークの再帰的反復処理により、各予測の有効受容 field を段階的に拡大し、ラベル空間の依存関係を活用する。
• 新規の局所誤差密度 (LED) 重み付けアルゴリズムにより、局所的セグメンテーションの難易度とトポロジカルな重要性に基づいて、学習例の重みを動的に再割り当てする。
• マルチスケール処理パスウェイ、プーリング、再帰的フィードバックを統合することで、文脈統合を強化し、局所的曖昧さを低減する。
• アーキテクチャは完全に並列化可能であり、GPU ではなく CPU クラスタ上でも1日で学習可能であり、標準的な畳み込みネットワークの2週間と比較して顕著な高速化を実現する。
• 再帰的反復から得られる中間のアフィニティグラフは、セグメンテーションに変換可能であり、後続段階で微分不能な形態的特徴を活用可能となる。

実験結果

リサーチクエスチョン

• RQ1 広範でマルチスケールかつ再帰的なネットワークアーキテクチャは、標準的な深層畳み込みネットワークと比較して、画像ラベリング精度を著しく向上させることができるか？
• RQ2 コアネットワークアーキテクチャの再帰的反復処理により、有効受容 field を拡大し、ラベル空間の統計を活用することで、性能向上が達成できるか？
• RQ3 難易度の高いおよびトポロジカルに重要な例を優先する局所誤差密度重み付け方式は、3D電子顕微鏡データにおける境界予測精度を向上させることができるか？
• RQ4 再帰的段階を完全にバックプロパゲーションしない、非エンドツーエンドで並列化可能なアーキテクチャを用いて、コンネクトミクス再構築で最先端の性能を達成できるか？
• RQ5 マルチスケール処理、プーリング、再帰処理といった文脈統合戦略のうち、どれが複雑な画像ラベリングタスクにおいてより効果的か？

主な発見

• 再帰的反復処理を用いた DAWMR ネットワークは、全テストセットで 0.9522 の Rand Index を達成し、非再帰的アーキテクチャや標準的な畳み込みネットワークを著しく上回った。
• MS-FV-DO w iter 3 アーキテクチャは、AUC-edge 0.9904 および Rand Index 0.9522 を達成し、再帰的精錬の有効性を示した。
• わずかに小さい総受容 field を持つにもかかわらず、3回目の再帰的反復処理による DAWMR ネットワークは、非常に大きな受容 field を持つ非再帰的アーキテクチャを上回った。これは、反復的文脈統合の価値を示している。
• 局所誤差密度 (LED) 重み付け方式により、困難でトポロジカルに重要な領域に学習を集中させたことで、境界予測の正確性が向上し、過小セグメンテーションエラーが減少した。
• DAWMR ネットワークは CPU クラスタ上で1日間で学習可能であり、GPU を使用する畳み込みネットワークの2週間と比較して、顕著な高速化が実現した。
• 視覚的検証により、畳み込みネットワークは誤った正のアフィニティエッジにより過小セグメンテーションエラーを多く発生させた一方、DAWMR の出力はより一貫性があり正確であった。