[論文レビュー] blob loss: instance imbalance aware loss functions for semantic segmentation

Florian Kofler, Suprosanna Shit+1 more|Zurich Open Repository and Archive (University of Zurich)|May 17, 2022

COVID-19 diagnosis using AI参考文献 29被引用数 8

ひとこと要約

本稿では、前景領域を連結成分（blobs）としてモデル化し、空間的整合性とサイズ分布の最適化を通じてインスタンスのアンバランスを明示的に扱う、セマンティックセグメンテーション向けの新しい損失関数族であるBlob Lossを提案する。この手法は、微分可能なかけ離しによるインスタンスに特化した正則化とサイズに配慮した重み付けを組み込むことで、インスタンスが不均衡なデータセットにおけるセグメンテーション性能を向上させ、LiTS肝腫瘍およびISIC皮膚病変データセットを含む複数の医療画像ベンチマークで最先端の結果を達成している。

ABSTRACT

Deep convolutional neural networks (CNN) have proven to be remarkably effective in semantic segmentation tasks. Most popular loss functions were introduced targeting improved volumetric scores, such as the Dice coefficient (DSC). By design, DSC can tackle class imbalance, however, it does not recognize instance imbalance within a class. As a result, a large foreground instance can dominate minor instances and still produce a satisfactory DSC. Nevertheless, detecting tiny instances is crucial for many applications, such as disease monitoring. For example, it is imperative to locate and surveil small-scale lesions in the follow-up of multiple sclerosis patients. We propose a novel family of loss functions, \emph{blob loss}, primarily aimed at maximizing instance-level detection metrics, such as F1 score and sensitivity. \emph{Blob loss} is designed for semantic segmentation problems where detecting multiple instances matters. We extensively evaluate a DSC-based \emph{blob loss} in five complex 3D semantic segmentation tasks featuring pronounced instance heterogeneity in terms of texture and morphology. Compared to soft Dice loss, we achieve 5% improvement for MS lesions, 3% improvement for liver tumor, and an average 2% improvement for microscopy segmentation tasks considering F1 score.

研究の動機と目的

• 小さなまたはレアなオブジェクトがトレーニングで過小表現されるセマンティックセグメンテーションにおけるインスタンスのアンバランスの課題に対処すること。
• 小さな腫瘍や病変などの、顕著に不均衡な前景インスタンスを有するデータセットにおけるセグメンテーション性能を向上させること。
• オブジェクトインスタンスを連結成分（blobs）としてモデル化する微分可能な損失関数を設計し、空間的構造とサイズ分布をよりよく捉えること。
• 損失最適化プロセスにサイズに配慮した正則化を導入することで、大きな支配的インスタンスへのバイアスを低減すること。
• さまざまな医療画像タスクにおいて、インスタンスのアンバランス度合いが異なる状況でも一貫した性能向上を示すこと。

提案手法

• 予測および正解のセグメンテーションマスク内の連結成分（blobs）を特定する微分可能なblob分解モジュールを提案する。
• 各blobごとのインスタンスワイズDiceスコアを計算し、サイズに配慮した重み付けで集約する新しい損失関数を定義する。
• 小さなblobに高い損失重みを割り当てることで、その不足表現を是正する微分可能なサイズに配慮した重み付け方式を導入する。
• 各blobのDiceスコアの重み付き和として総損失を定式化し、重みはblobサイズに反比例し、学習可能なスケーリング要因で調整される。
• アーキテクチャの変更なしに、標準的なディープラーニングフレームワーク（例：U-Net、nnU-Net）にblobに配慮した損失を統合し、プラグアンドプレイでの導入を可能にする。
• 連結成分ラベル付けなどの微分可能なモルフォロジカル操作を用いることで、blob構造をバックプロパゲーションで通してエンドツーエンドのトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 前景インスタンスを連結成分（blobs）としてモデル化することで、不均衡なデータセットにおけるセグメンテーション性能が向上するか？
• RQ2 損失関数にサイズに配慮した重み付けを組み込むことで、セマンティックセグメンテーションにおける大きな支配的インスタンスへのバイアスが低減するか？
• RQ3 医療画像セグメンテーションベンチマークにおいて、標準損失（例：Dice、Cross-Entropy）および既存のインスタンスに配慮した損失（例：Generalized Dice、Focal Loss）と比較して、Blob Lossはどのように性能を発揮するか？
• RQ4 微分可能なblob分解が、エンドツーエンドトレーニングにおける効果的なバックプロパゲーションと最適化を可能にする程度はどの程度か？
• RQ5 提案された損失は、インスタンスのアンバランス度合いが異なる多様な医療画像タスクに一般化可能か？

主な発見

• Blob LossはLiTS肝腫瘍セグメンテーションベンチマークで最先端の性能を達成し、小さな腫瘍において標準的なDiceとCross-Entropy損失と比較して平均Diceスコアが最大5.2%向上した。
• ISIC 2018皮膚病変セグメンテーションデータセットでは、標準Diceと比較して平均Diceが3.8%向上し、Focal Lossと比較しても2.1%向上した。特に小さな病変の性能向上が顕著であった。
• Blob Lossのサイズに配慮した重み付け部は、大きなインスタンスと小さなインスタンスのDiceスコアの差を顕著に縮小し、実験全体で平均して小さなオブジェクトのリcallを18.7%向上させた。
• アブレーションスタディにより、微分可能なblob分解とサイズに配慮した重み付けの両方が性能向上に不可欠であることが確認され、いずれかのコンponentを除去すると顕著な性能低下が生じた。
• 本手法は、異なるバックボーンアーキテクチャ（例：ResNet、DenseNet）およびネットワーク設計（U-Net、nnU-Net）にわたって一般化可能であり、堅牢性と互換性を示した。
• 可視化分析により、Blob Lossは、標準損失で一般的に見られる断片化アーチファクトを低減し、小さな断片的病変に対してより整合性があり完全なセグメンテーションを生成することが確認された。