[論文レビュー] Deep Learning Convolutional Networks for Multiphoton Microscopy Vasculature Segmentation

Petteri Teikari, Marc Ericson C. Santos+2 more|arXiv (Cornell University)|Jun 8, 2016

Cell Image Analysis Techniques参考文献 117被引用数 43

ひとこと要約

本論文は、12例のアノテート済みマウスおよびヒト腫瘍脳ボリュームを含む、公開共有可能なデータセットを活用して、2光子顕微鏡画像における血管の自動セグメンテーションを目的としたハイブリッド2D-3D畳み込みニューラルネットワーク（ConvNet）を提案する。この手法は、CPUに最適化されたZNNベースのフレームワークを用いて、ボリュームデータに対して強固な血管セグメンテーションを実現し、転移学習やオープンコラボレーションの可能性を示している。

ABSTRACT

Recently there has been an increasing trend to use deep learning frameworks for both 2D consumer images and for 3D medical images. However, there has been little effort to use deep frameworks for volumetric vascular segmentation. We wanted to address this by providing a freely available dataset of 12 annotated two-photon vasculature microscopy stacks. We demonstrated the use of deep learning framework consisting both 2D and 3D convolutional filters (ConvNet). Our hybrid 2D-3D architecture produced promising segmentation result. We derived the architectures from Lee et al. who used the ZNN framework initially designed for electron microscope image segmentation. We hope that by sharing our volumetric vasculature datasets, we will inspire other researchers to experiment with vasculature dataset and improve the used network architectures.

研究の動機と目的

• マルチフォトン顕微鏡画像における血管セグメンテーションのための標準化され、公開可能なアノテート済みデータセットの不足に応える。
• 3D二光子顕微鏡スタックにおける血液管の正確で自動化されたセグメンテーションのためのディープラーニングベースの手法を開発する。
• アノテーション負荷を軽減するために、事前学習済みネットワークとアノテート済みデータを共有することで、転移学習とドメイン適応を可能にする。
• コードとデータを共同で公開するオープンソースフレームワークとしてリリースすることで、再現可能性とオープンサイエンスを促進する。
• 神経科学およびバイオメディカル研究分野で現在用いられている手動および準自動セグメンテーションパイプラインの改善を図る。

提案手法

• 電子顕微鏡向けに当初設計されたZNNフレームワークに基づいて、2D-3DハイブリッドConvNetアーキテクチャを適応した。
• 局所的なテクスチャとボリューム構造の両方を捉えるために、2Dおよび3D畳み込みフィルタの組み合わせを用いてネットワークをトレーニングした。
• 大規模なアノテーションを新たに作成する必要を減らすために、事前学習済みネットワークを新しいマルチフォトン血管データセットで微調整することで転移学習を活用した。
• セグメンテーションの前処理として、入力品質を向上させるために画像ノイズ除去を実施した。
• 教師ありセグメンテーションモデルの学習に、専門家がラベル付けしたスタックからのピクセル単位の真値アノテーションを用いた。
• PythonおよびITK互換ラッパーを用いて、再現可能でオープンソース形式で、完全なトレーニングコードとデータセットを公開した。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド2D-3D ConvNetアーキテクチャは、3D二光子顕微鏡スタックにおける血管の堅牢で正確なセグメンテーションを達成できるか？
• RQ2 限られたマルチフォトン顕微鏡データ上で事前学習済みネットワークを微調整する際の転移学習の有効性はいかほどか？
• RQ3 公開共有され、アノテート済みのデータセットが、マルチフォトン血管セグメンテーション分野の研究をどの程度加速できるか？
• RQ4 ZNNベースのCPU最適化フレームワークは、このタスクにおいてGPUベースのディープラーニングフレームワークと同等のパフォーマンスを達成できるか？
• RQ5 本手法は、現在用いられている手動および準自動セグメンテーション手法と比較して、正確性および再現性の面でどのように優れているか？

主な発見

• ハイブリッド2D-3D ConvNetは、12例のアノテート済み二光子顕微鏡スタックにおいて有望なセグメンテーション結果を達成し、ボリュームデータに対する強力な一般化能力を示した。
• 事前学習済みネットワークを用いた転移学習により、フレームワークが成功裏にトレーニングされ、大規模なアノテーションを新規に作成する必要が著しく減少した。
• 著者らは、12例のアノテート済み3D血管スタックからなる、自由に利用可能なデータセットをリリースし、分野における主要なバリアンスを解消した。
• ZNNベースの実装により、CPU上で競争力のあるパフォーマンスが達成され、高価なGPUハードウェアを必要としない方法としての実用性が示された。
• オープンソースのコードとデータ共有モデルにより、再現可能性が向上し、今後のマルチフォトン画像解析分野における協働研究を促進した。
• 本手法により、血管形態のより正確な定量的評価や、染料漏れなどの動的プロセスの解析が可能となり、神経血管カップリングや血脳関門の恒常性に関する研究を支援する。