[論文レビュー] Object-Guided Instance Segmentation for Biological Images

Jingru Yi, Hui Tang+6 more|arXiv (Cornell University)|Nov 20, 2019

Cell Image Analysis Techniques参考文献 22被引用数 5

ひとこと要約

本論文は、中心点検出を用いてタイトなバウンディングボックスを生成し、セグメンテーションブランチでインスタンス正規化を用いて隣接オブジェクトの分布を抑制することで、クラスタリング、接着、および小さな生物学的オブジェクトを分離する際の最先端の性能を達成する、オブジェクトガイドドインスタンスセグメンテーション手法を提案している。3つのベンチマークデータセットにおいて、微細な形態的詳細を保持したまま、性能が優れている。

ABSTRACT

Instance segmentation of biological images is essential for studying object behaviors and properties. The challenges, such as clustering, occlusion, and adhesion problems of the objects, make instance segmentation a non-trivial task. Current box-free instance segmentation methods typically rely on local pixel-level information. Due to a lack of global object view, these methods are prone to over- or under-segmentation. On the contrary, the box-based instance segmentation methods incorporate object detection into the segmentation, performing better in identifying the individual instances. In this paper, we propose a new box-based instance segmentation method. Mainly, we locate the object bounding boxes from their center points. The object features are subsequently reused in the segmentation branch as a guide to separate the clustered instances within an RoI patch. Along with the instance normalization, the model is able to recover the target object distribution and suppress the distribution of neighboring attached objects. Consequently, the proposed model performs excellently in segmenting the clustered objects while retaining the target object details. The proposed method achieves state-of-the-art performances on three biological datasets: cell nuclei, plant phenotyping dataset, and neural cells.

研究の動機と目的

• 顕微鏡画像におけるクラスタリング、接着、および小さな生物学的オブジェクトのセグメンテーションの課題に対処すること。
• グローバルオブジェクトコンテキストを組み込むことで、ボックスフリー手法における過剰・過小セグメンテーションの問題を克服すること。
• 複雑な生物学的シーンにおけるインスタンスセグメンテーションの正確性と詳細の保持を向上させること。
• 中心点ベースの局所化により、小さなオブジェクトの効率的かつ正確な検出を可能とすること。
• インスタンス正規化を用いて隣接オブジェクトの特徴を抑制しながら、ターゲットインスタンスの形態を保持すること。

提案手法

• キーポイントベースの検出器を用いてオブジェクトの中心を検出することで、アンカーボックスを用いずにタイトなバウンディングボックスを生成する。
• 検出ブランチから得られたオブジェクト特徴を、インスタンス分離のための空間的ガイダンスとしてセグメンテーションブランチに転送する。
• セグメンテーションブランチにインスタンス正規化を適用し、隣接オブジェクトの統計的分布を抑制し、ターゲットインスタンスを強調する。
• 予測されたバウンディングボックスに基づいてRoIアライメントを用いて領域-of-interestパッチを切り出し、精細なセグメンテーションを実現する。
• ResNet50エンコーダを統合し、2つの並列ブランチ（オブジェクト検出：ヒートマップ、ボックス回帰、オフセット予測）とオブジェクトガイドドセグメンテーションを備えたフレームワークを構築する。
• セグメンテーションブランチはオブジェクト特徴とインスタンス正規化を活用し、微細な詳細を回復するとともに、付着したオブジェクトからのノイズを抑制する。

実験結果

リサーチクエスチョン

• RQ1 中心点ベースの検出は、インスタンスセグメンテーションにおける小さな生物学的オブジェクトやクラスタリングオブジェクトの局所化を改善できるか？
• RQ2 重なっている、または接着しているオブジェクトにおいて、オブジェクト特徴がインスタンス分離をどれほど効果的にガイドできるか？
• RQ3 インスタンス正規化は、隣接オブジェクトの分布を抑制しながら、ターゲットインスタンスの詳細を保持するのに効果的か？
• RQ4 提案手法は、生物学的画像データセットにおいて、最先端のボックスフリーおよびボックスベース手法を上回る正確性と効率性を達成できるか？
• RQ5 オブジェクト特徴と正規化の統合は、複雑な生物学的シーンにおけるマスク品質をどの程度向上させるか？

主な発見

• 提案手法は、細胞核、植物形態解析、神経細胞の3つの生物学的データセットで最先端の性能を達成した。
• DSB2018データセットでは、すべてのアブレーションバリアントの中で最高のAPマスクとAIoUマスクスコアを達成し、Ours_objBranchINはOurs_sepBranchINおよびOurs_objBranchを上回った。
• 植物形態解析データセットでは、Ours_objBranchINはAIoUマスクで一貫した優位性を示し、APマスクスコアは類似しているにもかかわらず、より優れたセグメンテーション品質を示した。
• 神経細胞データセットでは、Ours_objBranchINは他のバリアントを著しく上回り、長く細長い、およびクラスタリングされた細胞の突起を処理する強みを示した。
• アブレーションスタディにより、インスタンス正規化が隣接オブジェクト特徴の抑制とターゲットインスタンスの完全な詳細回復に不可欠であることが確認された。
• 本手法は、特に遮蔽や接着状態においても、クラスタリングされたインスタンスを効果的に分離し、微細な形態的詳細を保持した。