[論文レビュー] Cell R-CNN V3: A Novel Panoptic Paradigm for Instance Segmentation in Biomedical Images.

Dongnan Liu, Donghao Zhang+3 more|arXiv (Cornell University)|Feb 15, 2020

AI in cancer detection参考文献 32被引用数 11

ひとこと要約

本稿では、残留注意特徴統合と一貫性正則化を用いて、セマンティック特徴とインスタンス特徴を統合する新しいパノプティックフレームワーク、Cell R-CNN V3を提案する。これにより、情報損失を低減しマスク品質予測を向上させることで、複数のバイオメディカルデータセットで最先端の性能を達成する。

ABSTRACT

Instance segmentation is an important task for biomedical image analysis. Due to the complicated background components, the high variability of object appearances, numerous overlapping objects, and ambiguous object boundaries, this task still remains challenging. Recently, deep learning based methods have been widely employed to solve these problems and can be categorized into proposal-free and proposal-based methods. However, both proposal-free and proposal-based methods suffer from information loss, as they focus on either global-level semantic or local-level instance features. To tackle this issue, we present a panoptic architecture that unifies the semantic and instance features in this work. Specifically, our proposed method contains a residual attention feature fusion mechanism to incorporate the instance prediction with the semantic features, in order to facilitate the semantic contextual information learning in the instance branch. Then, a mask quality branch is designed to align the confidence score of each object with the quality of the mask prediction. Furthermore, a consistency regularization mechanism is designed between the semantic segmentation tasks in the semantic and instance branches, for the robust learning of both tasks. Extensive experiments demonstrate the effectiveness of our proposed method, which outperforms several state-of-the-art methods on various biomedical datasets.

研究の動機と目的

• バイオメディカル画像におけるインスタンスセグメンテーションにおける、グローバルなセマンティック特徴やローカルなインスタンス特徴に限定したアプローチによる情報損失の課題に対処すること。
• 専用の品質ブランチを用いて信頼度スコアを実際のマスク品質と一致させることで、マスク品質予測を向上させること。
• セマンティックブランチとインスタンスブランチ間の一貫性正則化を適用することで、セマンティックおよびインスタンスセグメンテーションタスクの両方における頑健性を向上させること。
• 複雑なバイオメディカル画像データに対して、パフォーマンスを向上させるために、セマンティックおよびインスタンス特徴学習を統合した1つのパノプティックアーキテクチャを構築すること。

提案手法

• セマンティック特徴をインスタンスブランチに統合することで文脈的理解を豊かにする、残留注意特徴統合メカニズムを導入する。
• 各予測マスクの品質スコアを回帰するマスク品質ブランチを採用し、信頼度と実際のセグメンテーション精度を一致させる。
• セマンティックセグメンテーションヘッドのセマンティックブランチとインスタンスブランチ間の一貫性正則化メカニズムを適用し、共同学習の安定性と精度を向上させる。
• インスタンスセグメンテーションとセマンティックセグメンテーションの両タスクを統合的に最適化する、統合されたパノプティックアーキテクチャを設計する。
• スケールにわたる特徴表現を強化するため、注目に基づく統合を用いた特徴ピラミッドネットワークを活用する。

実験結果

リサーチクエスチョン

• RQ1 セマンティック特徴とインスタンス特徴を統合することで、バイオメディカルインスタンスセグメンテーションにおける情報損失を統合的パノプティックアーキテクチャが低減できるか？
• RQ2 マスク品質ブランチを導入することで、インスタンスセグメンテーション予測の信頼性はどのように向上するか？
• RQ3 セマンティックブランチとインスタンスブランチ間の一貫性正則化は、モデルの頑健性とパフォーマンスをどの程度向上させるか？
• RQ4 提案手法は、多様なバイオメディカル画像データセットにおいて、既存の最先端手法を上回る性能を示すか？

主な発見

• 提案されたCell R-CNN V3は、さまざまなバイオメディカルデータセットにおいて、複数の最先端手法と比較して優れたパフォーマンスを達成した。
• 残留注意特徴統合メカニズムにより、グローバルなセマンティック特徴とローカルなインスタンスキューを効果的に組み合わせることで、特徴表現が向上した。
• マスク品質ブランチにより、信頼度スコアと実際のマスクIoU値が一致することで、予測の信頼性が向上した。
• 一貫性正則化メカニズムにより、セマンティックおよびインスタンスセグメンテーションタスクの共同学習がより安定的かつ正確になった。