[論文レビュー] Multi-scale Cell Instance Segmentation with Keypoint Graph based Bounding Boxes

Jingru Yi, Pengxiang Wu+5 more|arXiv (Cornell University)|Jul 22, 2019

Advanced Image and Video Retrieval Techniques参考文献 12被引用数 9

ひとこと要約

本稿では、細胞のインスタンスセグメンテーションのためのマルチスケールキーポイントグラフベース手法を提案する。細胞の5つの幾何的点（コーナーと中心）を検出することで、頑健なバウンディングボックスを生成し、混雑しているか接触している細胞の状況でも正確なセグメンテーションを可能にする。この手法は、Mask R-CNN や DCAN などの最先端手法を上回り、神経細胞では 79.30% の AP@0.5、核では 80.14% の AP@0.5 を達成した。

ABSTRACT

Most existing methods handle cell instance segmentation problems directly without relying on additional detection boxes. These methods generally fails to separate touching cells due to the lack of global understanding of the objects. In contrast, box-based instance segmentation solves this problem by combining object detection with segmentation. However, existing methods typically utilize anchor box-based detectors, which would lead to inferior instance segmentation performance due to the class imbalance issue. In this paper, we propose a new box-based cell instance segmentation method. In particular, we first detect the five pre-defined points of a cell via keypoints detection. Then we group these points according to a keypoint graph and subsequently extract the bounding box for each cell. Finally, cell segmentation is performed on feature maps within the bounding boxes. We validate our method on two cell datasets with distinct object shapes, and empirically demonstrate the superiority of our method compared to other instance segmentation techniques. Code is available at: https://github.com/yijingru/KG_Instance_Segmentation.

研究の動機と目的

• インスタンスセグメンテーションにおいて、接触しているか重なっている細胞を分離する課題に対処すること。ボックスフリー手法はグローバルな文脈が欠如しているため、この問題を解決できないことがある。
• オブジェクト検出におけるアンカーボックスベースの検出器の限界、特に小規模または不規則な形状の細胞に対するクラスの不均衡や一般化性能の低さを克服すること。
• キーポイント検出とグラフベースのグループ化を用いて幾何的プライオリティを活用することで、細胞インスタンスセグメンテーションのバウンディングボックス提案の品質を向上させること。
• マルチスケール特徴マップとインスタンス固有の ROI ベースのリファインメントを組み合わせることで、セグメンテーションの精度を向上させること。

提案手法

• マルチスケール特徴マップ上でキーポイント検出ヘッドを用いて、各細胞の5つの事前定義された幾何的点（左上、右上、左下、右下、中心）を検出する。
• ヒートマップ、シングルオフセットマップ、グループオフセットマップの予測を用いて、キーポイントの局所化とスケール間での空間的関係を推定する。
• 対角線または三重点の組み合わせの幾何的整合性を活用して、キーポイントグラフを用いて検出された点を有効なバウンディングボックス提案にグループ化する。
• グループ化されたキーポイントからバウンディングボックスを生成し、これらのボックス内に特徴マップをクロップしてインスタンス固有のセグメンテーションを実行する。
• サイズの異なる細胞の検出を向上させるために、ResNet-50バックボーンを用い、スケール s1 から s4 までのマルチスケール特徴抽出を実施する。
• クロップされた ROI パッチ上で専用のセグメンテーションブランチを用いて最終的なインスタンスセグメンテーションを実行し、グローバル特徴マップのセグメンテーションに比べて局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 幾何的プライオリティを活用したキーポイントベース検出器は、アンカーベースの手法と比較して、細胞インスタンスセグメンテーションにおけるバウンディングボックス提案の品質を向上させることができるか？
• RQ2 マルチスケールキーポイント検出は、特に大きな細胞や細長い細胞のような多様なサイズの細胞の検出を向上させるか？
• RQ3 検出されたキーポイントの部分的または欠落した検出に対しても、グラフベースのグループ化がロバストネスを向上させるか？
• RQ4 接触しているか重なっている細胞を分離するという点で、本手法は最先端のボックスフリーおよびボックスベースのインスタンスセグメンテーション手法と比較して優れているか？

主な発見

• 提案手法は、神経細胞データセットでマルチスケール検出を用いて、79.30% の AP@0.5 と 55.18% の AP@0.7 を達成し、DCAN（13.85% AP@0.5）や CosineEmbedding（27.45% AP@0.5）を顕著に上回った。
• DSB2018 の核データセットでは、80.14% の AP@0.5 と 67.60% の AP@0.7 を達成し、Mask R-CNN（69.93% AP@0.5）や CornerNet（47.99% AP@0.5）を上回った。
• マルチスケール検出は神経細胞における性能を向上させる。浅い層では受容 field が小さいため大きな細胞がうまく検出されないが、深層のスケールでは良好に捉えられる。
• 個々の細胞セグメンテーションブランチは、浅い特徴マップ s1 でのセグメンテーションよりも優れている。ROI 特有の文脈を活用することで、過剰セグメンテーションと誤検出を低減した。
• 可視化の結果、大きな細胞は s1 ではしばしば見逃され、s4 で検出されることが確認された。これにより、マルチスケール特徴抽出の利点が裏付けられた。
• キーポイントグラフベースのグループ化によりロバストネスが向上した。1つ以上のキーポイントが欠落しても、残りの点が依然として有効なバウンディングボックス提案を形成できる。