[論文レビュー] NuClick: From Clicks in the Nuclei to Nuclear Boundaries

Mostafa Jahanifar, Navid Alemi Koohbabnani+1 more|arXiv (Cornell University)|Sep 7, 2019

Advanced Neural Network Applications参考文献 12被引用数 7

ひとこと要約

NuClickは、1核あたり1回のクリックのみで正確な核インスタンスセグメンテーションを可能にするディーブラーニングフレームワークである。包含マップと除外マップをガイド信号として生成することで、最先端のモデルを訓練するのに十分な頑健性を持つ高品質なセグメンテーションマスクを達成しており、LYON19チャレンジでNuClickが生成したアノテーションを用いて1位を獲得したことが裏付けられている。

ABSTRACT

Best performing nuclear segmentation methods are based on deep learning algorithms that require a large amount of annotated data. However, collecting annotations for nuclear segmentation is a very labor-intensive and time-consuming task. Thereby, providing a tool that can facilitate and speed up this procedure is very demanding. Here we propose a simple yet efficient framework based on convolutional neural networks, named NuClick, which can precisely segment nuclei boundaries by accepting a single point position (or click) inside each nucleus. Based on the clicked positions, inclusion and exclusion maps are generated which comprise 2D Gaussian distributions centered on those positions. These maps serve as guiding signals for the network as they are concatenated to the input image. The inclusion map focuses on the desired nucleus while the exclusion map indicates neighboring nuclei and improve the results of segmentation in scenes with nuclei clutter. The NuClick not only facilitates collecting more annotation from unseen data but also leads to superior segmentation output for deep models. It is also worth mentioning that an instance segmentation model trained on NuClick generated labels was able to rank first in LYON19 challenge.

研究の動機と目的

• ヒストグラム画像における手作業による核アノテーションの作業負荷を軽減すること。
• 最小限のユーザー入力で効率的かつインタラクティブに核セグメンテーションアノテーションを収集する方法を開発すること。
• 1点クリックからの高品質なトレーニングラベルを生成し、ディーブラーニングモデルの学習に適したものを得ること。
• NuClickが生成するアノテーションの実世界におけるディーブラーニング応用への実用性を検証すること。

提案手法

• 特徴の学習を向上させるために、残差接続とマルチスケール畳み込みブロックを備えたU-Netを模したエンコーダ・デコーダアーキテクチャを採用している。
• 2つのガイドチャネルを生成する：クリックされた核の中心に2次元ガウス分布を配置した包含マップと、隣接する核を強調する除外マップ。
• これらのマップは入力のRGB画像と連結され、トレーニングおよび推論時にネットワークをガイドする。
• クラスの不均衡を是正し、セグメンテーション精度を向上させるために、ソフトDiceと重み付きバイナリクロスエントロピーを組み合わせた重み付きハイブリッド損失関数が使用されている。
• 推論時には、画像とユーザーがクリックした位置を入力として受け取り、インスタンスセグメンテーションマスクを予測する。
• フレームワークはアノテート済みデータセットでトレーニングされ、異なるヒストロジー画像データへの汎用性を高めるためにファインチューニングされている。

実験結果

リサーチクエスチョン

• RQ1 1核あたり1回のユーザークリックによって、著しくアノテーション時間の短縮が図られるとともに、高いセグメンテーション精度を維持できるか？
• RQ2 1回のクリックから得られる包含マップおよび除外マップが、ディーブラーニングベースの核セグメンテーションに効果的なガイド信号として機能するか？
• RQ3 NuClickが生成するアノテーションは、真値アノテーションで学習されたモデルと同等の性能を示すトレーニングデータを提供できるか？
• RQ4 真値アノテーションが存在しない実世界のチャレンジにおいても、NuClickが生成するラベルは効果的に利用できるか？

主な発見

• CPMデータセットにおいて、NuClickはDiceスコア0.8535、PQスコア0.5878を達成し、既存手法を上回った。
• Kumarデータセットでは、Diceスコア0.8243、PQスコア0.5047を記録し、優れた一般化性能を示した。
• NuClickが生成したラベルで学習したモデルは、真値アノテーションで学習したモデルとほぼ同等のDiceスコアとPQスコアを達成しており、差はそれぞれ0.01および0.003にとどまった。
• NuClickが生成したデータセットを用いて、モデルはLYON19チャレンジでF1スコア0.7951を記録し1位となった。これは、合成アノテーションの正確性を裏付けている。
• NuClickが生成するラベルの品質は、人間によるアノテーションの真値よりも一様であることが判明し、アノテーター間のばらつきが低減された。