[論文レビュー] Combinatorial Energy Learning for Image Segmentation

Jeremy Maitin-Shepard, Viren Jain+3 more|arXiv (Cornell University)|Jun 13, 2015

Cell Image Analysis Techniques参考文献 23被引用数 10

ひとこと要約

本稿では、形状および画像特徴を統合するニューラルネットワークベースのエネルギー関数を用いてセグメンテーション品質をモデル化する、深層学習フレームワークである画像セグメンテーションのための組合せ的エネルギー学習（CELIS）を提案する。組合せ的 pruning および段階的更新を用いてスーパーボクセル凝集に対して効率的な最適化を実施することで、110億ボクセルの3次元顕微鏡データセットにおいて、最先端のベースラインと比較してボリュメトリックセグメンテーションの正確性を20%以上向上させる。

ABSTRACT

We introduce a new machine learning approach for image segmentation that uses a neural network to model the conditional energy of a segmentation given an image. Our approach, combinatorial energy learning for image segmentation (CELIS) places a particular emphasis on modeling the inherent combinatorial nature of dense image segmentation problems. We propose efficient algorithms for learning deep neural networks to model the energy function, and for local optimization of this energy in the space of supervoxel agglomerations. We extensively evaluate our method on a publicly available 3-D microscopy dataset with 25 billion voxels of ground truth data. On an 11 billion voxel test set, we find that our method improves volumetric reconstruction accuracy by more than 20% as compared to two state-of-the-art baseline methods: graph-based segmentation of the output of a 3-D convolutional neural network trained to predict boundaries, as well as a random forest classifier trained to agglomerate supervoxels that were generated by a 3-D convolutional neural network.

研究の動機と目的

• 既存の画像セグメンテーションパイプラインが組合せ的推論および形状ベースの基準を十分に活用していないという限界に対処すること。
• 形状および画像特徴を統合する、スケーラブルで微分可能なエネルギーに基づくモデルを、密度の高い3次元セグメンテーションに開発すること。
• 段階的かつプリーニングされた計算を用いて、スーパーボクセル凝集に対する効率的な最適化を可能にすること。
• 250億ボクセルの正例データを含む大規模な3次元顕微鏡データセットを用いて、本手法を評価すること。

提案手法

• 局所的なエネルギー項を計算するための深層ニューラルネットワークを用いた、翻訳不変なグローバルエネルギーモデル E(S; I) を提案する。
• 凝集過程におけるセグメンテーション状態の効率的表現および更新のため、接続領域データ構造を導入する。
• スーパーボクセル境界周辺の3次元形状配置をコンactに符号化するための2値形状記述子を採用する。
• 事前学習済み3次元CNNの特徴と全結合ネットワークの特徴を統合するスプライスドニューラルネットワークアーキテクチャを用いて、セグメンテーションのスコアを算出する。
• セグメンテーション内における対比較オブジェクト関係を活用してエネルギー関数を学習する、新しいトレーニング手順を適用する。
• 定理2、3、4および6を用いた計算のプリーニングにより、形状記述子の計算量を最大80%まで削減し、スケーラブルな凝集を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークベースのエネルギー関数を用いることで、形状と画像特徴を同時にモデル化することにより、3次元画像セグメンテーションの正確性を向上させることができるか？
• RQ2 大規模な3次元セグメンテーションにおいて、スーパーボクセル凝集に対する組合せ的推論をどのように効率的に最適化できるか？
• RQ3 形状記述子とプリーニング技術は、正確性を損なわずに計算コストをどの程度低減できるか？
• RQ4 CELISは、現実の巨大な神経回路図作成ワークロードを反映する、大規模な実世界の3次元神経回路図データセットにおいて、最先端の手法と比較してどの程度優れているか？

主な発見

• CELISは、2つの最先端のベースライン（グラフベースのセグメンテーションおよびランダムフォレスト凝集）と比較して、110億ボクセルのテストセットにおいてボリュメトリック再構築正確性を20%以上向上させる。
• プリーニング技術の適用により、計算される形状記述子の数を最大80%まで削減でき、実行時間の低減に直接寄与し、わずかなオーバーヘッドで済む。
• 記述子の計算をバッチ処理し、アクションスコアおよび連結成分に対する段階的更新を用いることで、顕著な計算コストの削減を達成する。
• 実際に変化が生じた場合の記述子計算の下限値と、プリーニング戦略が非常に近い値を示しており、ほぼ最適な効率性であることが示唆される。
• 訓練データセットの100³部分で妥当性を検証した結果、提案されたエネルギーモデルは異なる3次元顕微鏡データに対して良好に一般化可能であることが確認された。
• スプライスドニューラルネットワークアーキテクチャによる形状記述子と画像特徴の統合は、境界予測やピクセル単位の分類に依存する手法よりも、より高いセグメンテーション正確性を達成する。