[論文レビュー] ConvNeXt-backbone HoVerNet for nuclei segmentation and classification

Jiachen Li, Chixin Wang+2 more|arXiv (Cornell University)|Feb 28, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 14

ひとこと要約

本稿では、mPQ+ 0.04 および multi-r2 0.0144 の向上を達成するため、ResNetバックボーンをConvNeXt-tinyに置き換えたConvNeXtバックボーンHoVerNetを提案する。また、生物学的染色パターンを活用して1-of-kラベルスムージングを実施するヘマトキシリンチャネルベースのラベルスムージングを導入し、核の分布解析により最適な訓練/検証フォールドを選択することで、ベースラインを上回る性能を達成した。

ABSTRACT

This manuscript gives a brief description of the algorithm used to participate in CoNIC Challenge 2022. After the baseline was made available, we follow the method in it and replace the ResNet baseline with ConvNeXt one. Moreover, we propose to first convert RGB space to Haematoxylin-Eosin-DAB(HED) space, then use Haematoxylin composition of origin image to smooth semantic one hot label. Afterwards, nuclei distribution of train and valid set are explored to select the best fold split for training model for final test phase submission. Results on validation set shows that even with channel of each stage smaller in number, HoVerNet with ConvNeXt-tiny backbone still improves the mPQ+ by 0.04 and multi r2 by 0.0144

研究の動機と目的

• 深層学習を用いてヒストパスロジー画像における核のインスタンスセグメンテーションおよび分類性能を向上させること。
• HoVerNetにおけるResNet-50バックボーンをConvNeXt-tinyに置き換えることで、アーキテクチャの効率性と性能向上の可能性を検証すること。
• ヘマトキシリン-エオシン-DAB (HED) 空間への分解を用いてラベルスムージングを実施し、生物学的染色パターンを活用して1-of-kラベルを精緻化すること。
• 訓練データの分割を最適化するために、訓練および検証セットにおける核のタイプ分布を分析し、一般化性能を向上させること。
• 従来のバックボーン設計における冗長性を解消し、効率的な代替アーキテクチャ（例：ConvNeXt）を用いて、より少ないチャンネル数で優れた性能を達成できることを示すこと。

提案手法

• HoVerNetにおけるResNet-50-ExtバックボーンをConvNeXt-tinyに置き換え、より効率的なマルチスケール特徴抽出を実現した。
• skimage.color.rgb2hedを用いて入力RGB画像をHED色空間に変換し、DNA染色密度を表すヘマトキシリン (H) チャネルを分離した。
• 1-of-kの真値ラベルをスムージングし、1を0.5 + 0.5 × 正規化されたヘマトキシリン強度 (H_norm) に置き換えることで、教師信号の過信を軽減した。
• クラス不均衡に対処するため、フォーカル損失とディスクロスを組み合わせたアンサンブル損失を核タイプ予測ヘッドに適用した。
• 後処理として、核ピクセルマップを閾値0.5で二値化し、10ピクセル未満のオブジェクトを除去し、水平・垂直距離マップにウォーターシェドを適用した。
• 訓練セットと検証セットにおける核タイプiの比率の差の二乗和 ∑(Sim_i - 1)² を最小化することで、最適な検証フォールドを選択した。

実験結果

リサーチクエスチョン

• RQ1 ステージごとのチャンネル数が少ないにもかかわらず、HoVerNetにおけるResNetバックボーンをConvNeXt-tinyに置き換えることで、核のセグメンテーションおよび分類性能が向上するか？
• RQ2 ヘマトキシリンチャネル分解を用いた1-of-kラベルスムージングは、一般化性能およびモデルのロバストネスを向上させるか？
• RQ3 訓練および検証セットにおける核タイプの分布がモデル性能に与える影響は何か？ また、最適なデータ分割を求めるためにその分布を活用できるか？
• RQ4 生物学的染色パターン（ヘマトキシリン）を用いたラベルスムージングは、ヒストパスロジー画像における意味的セグメンテーションの教師信号を改善できるか？
• RQ5 標準的なCNNバックボーンには、ConvNeXtのような効率的代替アーキテクチャによって解消可能なアーキテクチャ的冗長性が存在するか？

主な発見

• ConvNeXt-tinyバックボーンは、ステージごとのチャンネル数が少ないにもかかわらず、ResNet-50-Extベースライン比でmPQ+ 0.04、multi-r2 0.0144 の向上を達成した。
• ConvNeXt-tinyバックボーンを用いたモデルは、検証時mPQ+ 0.5040、multi-r2 0.8729 を達成し、ResNet-50-Extベースライン（mPQ+ 0.4998、multi-r2 0.8585）を上回った。
• ヘマトキシリンベースのラベルスムージングは、染色強度パターンを1-of-kラベルに組み込むことで、教師信号の質を向上させ、モデルの一般化性能を向上させた。
• 核タイプの分布差が最小となるフォールド06が最適な訓練/検証フォールドとして選択された（訓練集合と検証集合間の核タイプ比率の差の二乗和が最小）。
• 結果から、現在のバックボーンアーキテクチャには、チャンネル容量の冗長性が存在し、ConvNeXt-tinyが少ないチャンネル数でResNet-50-Extを上回っている可能性が示唆された。
• 本手法は計算的にも効率的であり、バッチサイズ4で2台の2080Ti GPUを用いて約12時間で学習が完了した。