[論文レビュー] Dual-Branch Network with Dual-Sampling Modulated Dice Loss for Hard Exudate Segmentation from Colour Fundus Images

Qing Liu, Haotian Liu+1 more|arXiv (Cornell University)|Dec 3, 2020

Retinal Imaging and Analysis参考文献 34被引用数 5

ひとこと要約

本稿では、カラーファンダス画像からのハードエキスダート分類における極端なクラス不均衡とサイズ変動の問題を解決するため、新規のデュアルサンプリング制御Dice損失を備えたデュアルブランチU-Net型ネットワークを提案する。本手法は、一貫したサンプリングにより大きなエキスダートに偏ったブランチと、再バランスサンプリングにより小さなエキスダートに偏ったブランチを用い、適応的損失制御により「易しいうちから難しいものへ」の学習を可能にしている。本手法はDDRおよびIDRiDデータセットで最先端の性能を達成した。

ABSTRACT

Automated segmentation of hard exudates in colour fundus images is a challenge task due to issues of extreme class imbalance and enormous size variation. This paper aims to tackle these issues and proposes a dual-branch network with dual-sampling modulated Dice loss. It consists of two branches: large hard exudate biased learning branch and small hard exudate biased learning branch. Both of them are responsible for their own duty separately. Furthermore, we propose a dual-sampling modulated Dice loss for the training such that our proposed dual-branch network is able to segment hard exudates in different sizes. In detail, for the first branch, we use a uniform sampler to sample pixels from predicted segmentation mask for Dice loss calculation, which leads to this branch naturally be biased in favour of large hard exudates as Dice loss generates larger cost on misidentification of large hard exudates than small hard exudates. For the second branch, we use a re-balanced sampler to oversample hard exudate pixels and undersample background pixels for loss calculation. In this way, cost on misidentification of small hard exudates is enlarged, which enforces the parameters in the second branch fit small hard exudates well. Considering that large hard exudates are much easier to be correctly identified than small hard exudates, we propose an easy-to-difficult learning strategy by adaptively modulating the losses of two branches. We evaluate our proposed method on two public datasets and results demonstrate that ours achieves state-of-the-art performances.

研究の動機と目的

• ハードエキスダート分類における極端なクラス不均衡の課題に対処する。背景ピクセルがエキスダートピクセルを著しく上回り、比は最大512:1に達する。
• 非常に大きなサイズ変動を示すハードエキスダートを分類する困難さに対処する。エキスダートピクセルの90%が画像面積の9.7×10⁻⁵未満の領域に属する。
• 部分的重み共有を有するデュアルブランチアーキテクチャにより、大規模および小規模エキスダートを別々に学習することで分類性能を向上させる。
• 大規模エキスダートが十分に学習された後に小規模エキスダートの学習を優先するように適応的損失制御を実装した損失関数を開発し、「易しいうちから難しいものへ」の学習を可能にする。
• 標準的な交差エントロピー損失やDice損失で訓練されたモデルを上回る、公開データセットDDRおよびIDRiDにおける最先端の性能を達成する。

提案手法

• 一貫したサンプリングでDice損失を学習するブランチ（大規模エキスダートに偏る）と、再バランスサンプリング（エキスダートをオーバーサンプリング、背景をアンダーサンプリング）で学習するブランチ（小規模エキスダートに偏る）を備えたデュアルブランチネットワークを提案する。
• 一貫したサンプリング（大規模エキスダートに注目）と再バランスサンプリング（小規模エキスダートに注目）の両方の損失成分を統合した、デュアルサンプリング制御Dice損失（DSM損失）を設計する。
• 訓練中に適応的損失制御を適用し、訓練が進むにつれて小規模エキスダートブランチの損失重みを増加させることで、「易しいうちから難しいものへ」の学習戦略を実現する。
• 低レベル特徴の共有を可能にしつつ、高レベル特徴でのタスク固有の適応を許容する部分的重み共有を二つのブランチ間で実装する。
• DSM損失を用いてDDRおよびIDRiDデータセットでネットワークを訓練し、IoU、F1スコア、AUPRといった標準指標で評価する。
• PSPNet、Deeplabv3、HEDといったバックボーンアーキテクチャと統合することで、異なるモデルへの汎用性を検証する。

実験結果

リサーチクエスチョン

• RQ1 異なるサンプリング戦略を備えたデュアルブランチネットワークは、極端なサイズ変動を示すハードエキスダートの分類を改善できるか？
• RQ2 深刻なクラス不均衡下でも、デュアルサンプリング制御Dice損失は大規模および小規模エキスダートの学習を適切にバランスできるか？
• RQ3 「易しいうちから難しいものへ」の学習戦略を実現する適応的損失制御は、検出が困難な小規模エキスダートの分類性能を向上させられるか？
• RQ4 標準損失関数（例：CBCE、Dice）と比較して、本手法は分類精度と頑健性の面で優れているか？
• RQ5 本手法のデュアルブランチアーキテクチャは、PSPNet、Deeplabv3、HEDなどの異なるセグメンテーションバックボーンに対して、公開ファンドス画像データセットで汎用性を示せるか？

主な発見

• DDRデータセットでは、提案手法のデュアルブランチネットワークにDSM損失を適用した結果、IoUが0.8640、F1スコアが0.7790、σ=0.5におけるF1スコアが0.6954を達成し、SPNet や DNL といったベースラインモデル（CBCEまたはDice損失で訓練）をすべて上回った。
• IDRiDデータセットでは、IoUが0.6239、F1スコアが0.7684、σ=0.8におけるF1スコアが0.8353を達成し、L-seg、LWENet、Bin損失を用いたモデルすべての指標を上回った。
• DSM損失を用いたデュアルブランチネットワークは、ハードエキスダートに偏るCBCEベースのモデルに比べ、誤検出（背景をエキスダートと誤分類）を低減した。
• Dice損失モデルが背景に偏る傾向にあったのに対し、本手法は特に小規模エキスダートに対して誤検出（エキスダートを背景と誤分類）を低減した。
• 可視化比較では、本手法は小規模エキスダート領域をよりよく保持しており、標準損失関数で訓練されたモデルが背景領域を過剰にセグメンテーションするのを防いでいた。
• 適応的損失制御を備えたデュアルブランチアーキテクチャは、IDRiDで最高のAUPR（0.8296）を達成し、希少で小さなエキスダートを検出する能力に優れていることを示した。