[論文レビュー] Fluorescence Microscopy Image Segmentation Using Convolutional Neural Network With Generative Adversarial Networks.

Chichen Fu, Soonam Lee+5 more|arXiv (Cornell University)|Jan 22, 2018

AI in cancer detection参考文献 23被引用数 3

ひとこと要約

本論文では、生成対抗ネットワーク（GAN）によって生成された合成データを用いてトレーニングされた3次元畳み込みニューラルネットワーク（CNN）を用いた3次元核セグメンテーション手法を提案する。この手法は、アノテート済みの蛍光顕微鏡ボリュームが限られているという課題を克服し、豊富な手動アノテーションを必要とせずに多様なデータセットにおいても頑健なセグメンテーションを実現する。

ABSTRACT

Recent advance in fluorescence microscopy enables acquisition of 3D image volumes with better quality and deeper penetration into tissue. Segmentation is a required step to characterize and analyze biological structures in the images. 3D segmentation using deep learning has achieved promising results in microscopy images. One issue is that deep learning techniques require a large set of groundtruth data which is impractical to annotate manually for microscopy volumes. This paper describes a 3D nuclei segmentation method using 3D convolutional neural networks. A set of synthetic volumes and the corresponding groundtruth volumes are generated automatically using a generative adversarial network. Segmentation results demonstrate that our proposed method is capable of segmenting nuclei successfully in 3D for various data sets.

研究の動機と目的

• 深層学習モデルのトレーニングに用いるためのアノテート済み3次元蛍光顕微鏡ボリュームの不足という課題に対処すること。
• 3次元核セグメンテーションの真値を手動でアノテートする作業の時間的負担を低減する手法を開発すること。
• GANを用いて現実的で3次元顕微鏡データの外観と構造的複雑さを模倣する合成3次元画像ボリュームおよび対応する真値セグメンテーションマスクを生成すること。
• 合成データでトレーニングされた3次元CNNの性能を、多様な生物学的データセットにおいて評価すること。

提案手法

• 3次元畳み込みニューラルネットワーク（CNN）を、3次元蛍光顕微鏡画像における核セグメンテーションを実行するようにトレーニングする。
• 生成対抗ネットワーク（GAN）を用いて、自動的に合成された3次元顕微鏡ボリュームおよびそれに対応する真値セグメンテーションマスクを生成する。
• GANは、実際の蛍光顕微鏡データの外観と構造的複雑さを模倣する現実的な3次元画像ボリュームを生成するようにトレーニングされる。
• 合成データを用いて3次元CNNを事前トレーニングまたはファインチューニングし、実際のアノテート済みデータへの依存度を低減する。
• 生成画像の現実性とセグメンテーションの一貫性を向上させるために、対抗損失をトレーニングプロセスで活用する。
• 複数の実際の3次元顕微鏡データセットを用いて、汎用性およびセグメンテーション精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 GANによって生成された合成データセットは、蛍光顕微鏡における3次元CNNの核セグメンテーションのトレーニングに有効に機能するか？
• RQ2 合成データでトレーニングされた3次元CNNの性能は、実際のアノテート済みデータでトレーニングされたモデルと比べてどのように異なるか？
• RQ3 合成データは、異なる生物学的サンプルおよび画像条件の間でどの程度一般化可能か？
• RQ4 GANによって生成されたデータの使用は、セグメンテーション精度を維持したまま、手動アノテーションの必要性をどの程度低減できるか？

主な発見

• 提案手法は、トレーニングデータの手動アノテーションを一切必要とせず、複数のデータセットにおいて3次元蛍光顕微鏡画像の核セグメンテーションを成功裏に実行した。
• GANによって生成された合成データの使用により、3次元CNNの有効なトレーニングが可能となり、高いセグメンテーション精度が達成された。
• モデルは多様な生物学的サンプルにうまく一般化し、画像条件の変動に対しても頑健であることが示された。
• 本手法は、3次元顕微鏡解析における主要なボトルネックである大規模な手動アノテーションへの依存度を顕著に低減した。