[論文レビュー] Weakly Supervised Cell Instance Segmentation by Propagating from Detection Response

Kazuya Nishimura, Dai Fei Elmer Ker+1 more|arXiv (Cornell University)|Nov 29, 2019

Cell Image Analysis Techniques参考文献 10被引用数 8

ひとこと要約

本論文は、U-Netを用いて細胞検出を学習するための重心アノテーションを活用する弱教師ありインスタンスセルセグメンテーション手法を提案する。その後、ガイドドバックプロパゲーションを用いて寄与ピクセルを特定し、正確なインスタンスセグメンテーションを実現する。本手法は、複数の顕微鏡画像データセットにおいて最先端の性能を達成しており、人為的セグメンテーションマスクが存在しない状況においても、核を染色した蛍光画像のみを訓練データとして使用可能である。

ABSTRACT

Cell shape analysis is important in biomedical research. Deep learning methods may perform to segment individual cells if they use sufficient training data that the boundary of each cell is annotated. However, it is very time-consuming for preparing such detailed annotation for many cell culture conditions. In this paper, we propose a weakly supervised method that can segment individual cell regions who touch each other with unclear boundaries in dense conditions without the training data for cell regions. We demonstrated the efficacy of our method using several data-set including multiple cell types captured by several types of microscopy. Our method achieved the highest accuracy compared with several conventional methods. In addition, we demonstrated that our method can perform without any annotation by using fluorescence images that cell nuclear were stained as training data. Code is publicly available in "https://github.com/naivete5656/WSISPDR".

研究の動機と目的

• 非侵襲的顕微鏡画像における密な重なり合う細胞の境界が不明瞭な状況での個別細胞のセグメンテーションの課題に対処すること。
• 細胞境界の手作業による時間のかかる詳細なアノテーションに依存を減らすために、重心位置といった弱い監視情報のみを用いること。
• 人為的セル領域マスクが一切不要なインスタンスセグメンテーションを、蛍光核染色画像を訓練データとして活用することで実現すること。
• 従来の手法が光学的アーチファクトや形状の多様性のため失敗するような複雑で密な細胞培養環境におけるセグメンテーション精度の向上。
• 検出ヘッドからのネットワーク活性化解析を用いて、弱教師ありインスタンスセグメンテーションの可能性を示すこと。

提案手法

• 弱いラベル（重心位置）を用いてU-Netを訓練し、細胞重心の尤度を予測することで、暗黙的に細胞形状の情報を符号化する。
• 検出ネットワークの特徴マップに対してガイドドバックプロパゲーションを適用し、各個別細胞の検出に寄与するピクセルを同定する。
• ガイドドバックプロパゲーションによる寄与マップをしきい値処理および後処理することで、インスタンスセグメンテーションマスクを生成する。
• 本手法は、顕微鏡画像のパッチを用いてエンドツーエンドで訓練され、検出のための監視として重心アノテーションが使用される。
• アノテーションなしの状況では、手動のセグメンテーションが不要な蛍光核画像を入力として訓練に使用する。
• 複数の細胞にわたる寄与マップを統合して、最終的なインスタンスセグメンテーション予測を生成する。

実験結果

リサーチクエスチョン

• RQ1 重心アノテーションのみを用いて、密に配置された細胞の正確なインスタンスセグメンテーションを弱教師あり手法で達成できるか？
• RQ2 検出ネットワークからのガイドドバックプロパゲーションが、インスタンスセグメンテーションのための領域固有の寄与を効果的に同定できるか？
• RQ3 再トレーニングなしで、異なる細胞種や顕微鏡モダリティに一般化できるか？
• RQ4 核を染色した蛍光画像のみを訓練データとして使用することで、手動の細胞境界アノテーションを完全に排除できるか？
• RQ5 精度と頑健性の観点から、既存の弱教師ありおよび完全教師ありセグメンテーション手法と比較して、本手法はどのように差をつけるか？

主な発見

• 提案手法は、セル検出においてすべてのデータセットで最高のFスコアを達成し、特に人為的アノテーションが存在しないデータセットでは、蛍光核画像のみを用いても最高の性能を示した。
• インスタンスセグメンテーションにおいて、C2C12、B23P17、NSCを含むすべてのテストデータセットで最高の平均Dice係数（mDice）を達成し、Bensh、Yin、Chalfoun手法を上回った。
• C2C12データセットでは、mDiceが0.82を達成し、次善の手法（0.76）を顕著に上回った。
• フェーズコントラスト、微分干渉顕微鏡、さまざまな細胞密度という多様な画像条件においても、本手法は頑健性を示した。
• アノテーションなしの設定では、核を染色した画像のみを用いてmDiceが0.78を達成し、アノテーションフリーな訓練の可能性を実証した。
• すべての手法、包括して本手法も、非常に細い境界領域では困難を示したため、今後の研究における未解決の課題が残っている。