[論文レビュー] Analysis of the performance of U-Net neural networks for the segmentation of living cells

André O. Françani|arXiv (Cornell University)|Oct 4, 2022

Cell Image Analysis Techniques被引用数 5

ひとこと要約

本稿では、ハイパラメータチューニングとモデル圧縮を活用して、タイムラプス顕微鏡画像における生存細胞の自動セグメンテーションのための最適化されたU-Netアーキテクチャを提案する。この手法により準リアルタイム処理が実現され、高速かつ正確な細胞追跡と蛍光強度の定量が可能となり、6.20 GBのデータを4分間で処理する高精度なセグメンテーションを達成する。

ABSTRACT

The automated analysis of microscopy images is a challenge in the context of single-cell tracking and quantification. This work has as goals the study of the performance of deep learning for segmenting microscopy images and the improvement of the previously available pipeline for tracking single cells. Deep learning techniques, mainly convolutional neural networks, have been applied to cell segmentation problems and have shown high accuracy and fast performance. To perform the image segmentation, an analysis of hyperparameters was done in order to implement a convolutional neural network with U-Net architecture. Furthermore, different models were built in order to optimize the size of the network and the number of learnable parameters. The trained network is then used in the pipeline that localizes the traps in a microfluidic device, performs the image segmentation on trap images, and evaluates the fluorescence intensity and the area of single cells over time. The tracking of the cells during an experiment is performed by image processing algorithms, such as centroid estimation and watershed. Finally, with all improvements in the neural network to segment single cells and in the pipeline, quasi-real-time image analysis was enabled, where 6.20GB of data was processed in 4 minutes.

研究の動機と目的

• タイムラプス顕微鏡画像における生存細胞の自動セグメンテーションを、ディープラーニングを用いて改善すること。
• 推論速度を向上させるために、U-Netのハイパラメータおよびモデルサイズを最適化し、精度を損なわないようにすること。
• トレーニング済みのU-Netを、トラップの局在化、細胞セグメンテーション、蛍光強度の定量を統合したパイプラインに統合すること。
• マイクロフラウドデバイスにおける単一細胞追跡のための準リアルタイム画像解析を可能にすること。
• ディープラーニングベースのセグメンテーションにより、既存の細胞追跡パイプラインの性能を向上させること。

提案手法

• インスタンスセグメンテーションの目的で、生存細胞の顕微鏡画像を用いてU-Net畳み込みニューラルネットワークをトレーニングした。
• ネットワークの深さ、幅、および周辺率の最適化を目的としたハイパラメータ分析を実施した。
• パラメータ数の削減を図るため、モデル圧縮技術を適用し、セグメンテーション精度を維持した。
• トレーニング済みのU-Netを、マイクロフラウドトラップの局在化と細胞検出のための画像処理を実行するパイプラインに統合した。
• 時系列にわたる細胞追跡には、重心推定やウォーターシェド法などの画像処理アルゴリズムを用いた。
• セグメンテーションされた細胞領域を用いて、時間経過に伴う蛍光強度と細胞面積を定量した。

実験結果

リサーチクエスチョン

• RQ1 ハイパラメータチューニングは、顕微鏡画像からの生存細胞のU-Net性能にどのように影響するか？
• RQ2 リアルタイム処理を実現するにあたり、モデルサイズとセグメンテーション精度の最適なトレードオフは何か？
• RQ3 軽量なU-Netモデルは、大規模な顕微鏡データセットの準リアルタイム分析を可能にしつつ、高い精度を維持できるか？
• RQ4 U-Netを包括的なパイプラインに統合することで、マイクロフラウドデバイスにおける細胞追跡と定量にどのような向上が見られるか？
• RQ5 大規模なタイムラプス顕微鏡データに対して、最適化されたパイプラインの処理スループットはどの程度か？

主な発見

• 最適化されたU-Netモデルは、生存細胞顕微鏡画像において高いセグメンテーション精度を達成し、信頼性の高い細胞インスタンス検出を可能にした。
• ハイパラメータチューニングとモデル圧縮により、ネットワークサイズを削減しながらも性能を維持した。
• 包括的なパイプラインにより、準リアルタイム分析が実現され、6.20 GBのデータをわずか4分間で処理した。
• U-Netの追跡パイプラインへの統合により、細胞局在化と蛍光強度測定の精度が顕著に向上した。
• 本手法は、時間経過に伴う細胞面積および蛍光強度の自動的かつ高スループットな定量を可能にした。
• 本アプローチは、マイクロフラウド環境におけるスケーラブルかつリアルタイムの単一細胞解析の強力な可能性を示している。