[論文レビュー] Spatially Varying Label Smoothing: Capturing Uncertainty from Expert Annotations

Mobarakol Islam, Ben Glocker|arXiv (Cornell University)|Apr 12, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 31被引用数 4

ひとこと要約

本稿では、医療画像セグメンテーションにおけるモデルのキャリブレーションを向上させるために、専門家アノテーションからの境界の不確実性を抽出する空間的に変化するラベルスムージング（SVLS）を提案する。非明確な領域では高い信頼度を維持しながら境界部でのスムージングを施すソフトラベルを生成することで、追加のアノテーションやモデル変更なしに、セグメンテーション精度と不確実性の定量化の両方を向上させる。

ABSTRACT

The task of image segmentation is inherently noisy due to ambiguities regarding the exact location of boundaries between anatomical structures. We argue that this information can be extracted from the expert annotations at no extra cost, and when integrated into state-of-the-art neural networks, it can lead to improved calibration between soft probabilistic predictions and the underlying uncertainty. We built upon label smoothing (LS) where a network is trained on 'blurred' versions of the ground truth labels which has been shown to be effective for calibrating output predictions. However, LS is not taking the local structure into account and results in overly smoothed predictions with low confidence even for non-ambiguous regions. Here, we propose Spatially Varying Label Smoothing (SVLS), a soft labeling technique that captures the structural uncertainty in semantic segmentation. SVLS also naturally lends itself to incorporate inter-rater uncertainty when multiple labelmaps are available. The proposed approach is extensively validated on four clinical segmentation tasks with different imaging modalities, number of classes and single and multi-rater expert annotations. The results demonstrate that SVLS, despite its simplicity, obtains superior boundary prediction with improved uncertainty and model calibration.

研究の動機と目的

• ディープラーニングベースの医療画像セグメンテーションにおけるモデルのキャリブレーションの悪さと過信の問題を解決する。
• 解剖学的境界部でラベリングが曖昧な領域において、専門家アノテーションから空間的に構造化された不確実性を捉える。
• 追加のアノテーションやアーキテクチャの変更なしに、モデルのキャリブレーションと不確実性推定を向上させる。
• 複数の専門家アノテーションからの評価者間ばらつきを活用して、セグメンテーションモデルのロバスト性と信頼性を高める。
• 既存のトレーニングパイプラインにシームレスに統合できるシンプルで即席のソリューションを提供する。

提案手法

• 複数の専門家アノテーションの空間的一致性に基づく空間的に変化するスムージングカーネルを用いてソフトラベルを生成する。
• 各画素の周囲の局所的領域におけるラベルの一致度を数えることで、局所的な不確実性を計算するためにリピートパディングを適用する。
• スムージングが評価者間一致度が低い境界部で高くなるように、ワンホットラベルの重み付き平均としてSVLSのターゲット確率を定義する。
• 次の式を用いる：$ p_{\text{svls}}(c|i) = \frac{1}{K} \sum_{k=1}^{K} \mathbb{I}(y_k(i) = c) + \alpha \cdot \left(1 - \frac{1}{K} \sum_{k=1}^{K} \mathbb{I}(y_k(i) = c) \right) $、ここで$ \alpha $はスムージングを制御するパラメータであり、空間的に適応的である。
• 標準的なディープニューラルネットワーク（例：U-Net）を、SVLSターゲットを用いて交差エントロピー損失で訓練する（ワンホットまたは一様スムージングとは対照的に）。
• 空間的に適応的スムージングを用いて複数の専門家ラベルを統合することで、多評価者設定（mSVLS）にこの手法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 専門家アノテーションからの境界レベルの不確実性を捉えることで、空間的に変化するラベルスムージングは、セマンティックセグメンテーションにおけるモデルキャリブレーションを改善できるか？
• RQ2 SVLSは、標準的なラベルスムージングおよびワンホットエンコーディングと比較して、セグメンテーション精度と不確実性定量化の観点でどのように異なるか？
• RQ3 SVLSは、専門家アノテーションの評価者間ばらつきをどの程度活用して、モデルのロバスト性とキャリブレーションを向上させられるか？
• RQ4 SVLSは、非明確な領域では高い信頼度を維持しながら、不確実な境界部での過信を低減できるか？
• RQ5 SVLSは、医療画像セグメンテーションのディープラーニングモデルにおける他の不確実性推定技術と効果的に組み合わせられるか？

主な発見

• SVLSはモデルキャリブレーションを顕著に向上させ、標準的なラベルスムージングやワンホットエンコーディングと比較して、期待キャリブレーション誤差（ECE）を最大40％まで低減した。
• LIDC-IDRI肺結節データセットでは、mSVLSがDSC 0.688 ± 0.181を達成し、mOH（0.680 ± 0.183）およびワンホット（0.674 ± 0.185）のベースラインを上回った。
• 脳腫瘍セグメンテーションでは、SVLSがECEを0.141から0.0892（セット1）に低下させ、全評価セットで優れたキャリブレーションを示した。
• 信頼度図では、mSVLSがワンホットやmOHと比較して、理想の対角線にはるかに近い予測信頼度分布を生成していることが示された。
• 定性的な結果から、mSVLSは構造内部で高い信頼度、境界部で増加した不確実性を持つ合理的な不確実性マップを生成することが確認された。
• SVLSは、MRIおよびCTスキャンを含む多様な臨床的タスクにおいて、バイナリおよびマルチクラスセグメンテーションの両方で高い性能を維持した。