[論文レビュー] Isotropic reconstruction of 3D fluorescence microscopy images using convolutional neural networks

Martin Weigert, Löıc A. Royer+2 more|arXiv (Cornell University)|Apr 5, 2017

Cell Image Analysis Techniques参考文献 12被引用数 6

ひとこと要約

本論文は、同じデータ上でエンド・ツー・エンド学習を行う深層学習手法IsoNet-2を提案する。この手法は、アノテーションなしの1枚の視野からのアノイソトロープな、単一視点の取得データから、等方的3次元蛍光顕微鏡の分解能を回復する。自己教師付きスーパーキャラクタリゼーションとデコンボリューションを通じて、サンプル固有の画像事前分布を学習することで、完全な等方的データと同等の軸方向分解能を回復し、情報損失を最小限に抑えつつ、正確な下流分類を可能にする。

ABSTRACT

Fluorescence microscopy images usually show severe anisotropy in axial versus lateral resolution. This hampers downstream processing, i.e. the automatic extraction of quantitative biological data. While deconvolution methods and other techniques to address this problem exist, they are either time consuming to apply or limited in their ability to remove anisotropy. We propose a method to recover isotropic resolution from readily acquired anisotropic data. We achieve this using a convolutional neural network that is trained end-to-end from the same anisotropic body of data we later apply the network to. The network effectively learns to restore the full isotropic resolution by restoring the image under a trained, sample specific image prior. We apply our method to $3$ synthetic and $3$ real datasets and show that our results improve on results from deconvolution and state-of-the-art super-resolution techniques. Finally, we demonstrate that a standard 3D segmentation pipeline performs on the output of our network with comparable accuracy as on the full isotropic data.

研究の動機と目的

• 光学的PSFのアノイソトロピーと軸方向のアンダーサンプリングによる3次元蛍光顕微鏡における軸方向分解能の低下という課題に対処すること。
• 追加のグランド・トゥースデータや複雑なマルチビュー撮影装置を必要としない、等方的分解能の回復手法を開発すること。
• 再構成データ上で、真の等方的データとほぼ同一の正確さで、3次元分類などの下流解析を実行できることを可能にすること。
• データ取得負担を軽減し、顕微鏡的画像の撮影にかかる光毒性とファイルサイズを最小限に抑えるために、顕著に低サンプリングされた軸方向ボリュームからの再構成を可能にすること。

提案手法

• 本手法は、同じアノイソトロープデータセット上でエンド・ツー・エンド学習されるU-Netに類似した畳み込みニューラルネットワーク（IsoNet-2）を用いる。
• 横方向から軸方向への分解能のアノイソトロピーを活用することで、自己教師付きスーパーキャラクタリゼーションとデコンボリューションのタスクとして問題を定式化する。
• 回転または分割されたPSFモデルを用いて、ダウンサンプリングされぼやけた軸方向スライス（pxy）を高分解能の横方向スライス（gxy）へマッピングする。
• 予測された横方向パッチと元の横方向パッチのピxls単位のPSNR損失を最小化することで、訓練を実施する。
• ネットワークは訓練中にサンプル固有の画像事前分布を学習し、その情報を用いて軸方向にぼかしを除去し、等方的分解能を回復する。
• 本手法はグランド・トゥースを必要とせず、代わりにデータに内在するアノイソトロピーを監視信号として利用する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワークは、グランド・トゥースデータを必要とせず、1つのアノイソトロープな顕微鏡ボリュームから等方的3次元分解能を回復できるか？
• RQ2 このようなネットワークは、古典的なデコンボリューションや最先端のスーパーキャラクタリゼーション技術と比較して、どの程度の性能を示すか？
• RQ3 再構成された等方的データは、下流解析における生物学的構造の忠実度をどの程度保持するか？
• RQ4 標準的な3次元分類パイプラインは、再構成データ上で真の等方的データとほぼ同一の性能を達成できるか？
• RQ5 アレイスの低サンプリング（例：8分の1のスライス）によって、どの程度データ取得を低減できるか、同時に使用可能な分解能を維持できるか？

主な発見

• 合成核データでは、IsoNet-2は、アノイソトロープ入力の0.7415とグランド・トゥースの0.9234と比較して、分類F1スコア（SEGメトリック）が0.9128を達成した。
• 肝臓組織データでは、8倍の軸方向低サンプリング（8枚に1枚のスライス）からも、完全な等方的ボリュームと視覚的にほぼ同一の品質で等方的分解能が回復された。
• テストされたすべてのデータセットにおいて、リチャードソン＝ルーカスのデコンボリューションや最先端のスーパーキャラクタリゼーション技術を上回る、定量的および視覚的品質の両方で優れた性能を示した。
• ドーリアフィラとC. elegansのデータセットからの再構成軸方向スライスは、元のXYスライスと同等の明瞭さと等方的特性を示し、生物学的サンプル間での一般化を示した。
• 標準的な3次元分類パイプラインをIsoNet-2の出力に適用したところ、完全な等方的データと比較して、分類精度がほとんど区別できない結果が得られ、下流解析への実用性を確認した。
• 本手法により、最大8倍の軸方向サンプリング低減（データの12.5％）が可能となり、分解能と分類忠実度を維持しながら、光毒性とストレージ要件を比例して低減できる。