[論文レビュー] On uncertainty estimation in active learning for image segmentation

Bo Li, Tommy Sonne Alstrøm|arXiv (Cornell University)|Jul 13, 2020

Machine Learning and Algorithms参考文献 28被引用数 10

ひとこと要約

本稿では、医療画像セグメンテーションのための領域ベースのアクティブラーニングと不確実性推定を提案し、全画像ではなく不確実性の高い領域を選択することで、ラベル付け作業を最大50%削減しつつ、モデルのキャリブレーションとセグメンテーション精度を向上させることを示している。本手法は固定サイズの画像領域における不確実性指標（VarRatio、エントロピー、BALD）を用い、全画像取得と比較して収束が速く、より良好にキャリブレートされたモデルを達成している。

ABSTRACT

Uncertainty estimation is important for interpreting the trustworthiness of machine learning models in many applications. This is especially critical in the data-driven active learning setting where the goal is to achieve a certain accuracy with minimum labeling effort. In such settings, the model learns to select the most informative unlabeled samples for annotation based on its estimated uncertainty. The highly uncertain predictions are assumed to be more informative for improving model performance. In this paper, we explore uncertainty calibration within an active learning framework for medical image segmentation, an area where labels often are scarce. Various uncertainty estimation methods and acquisition strategies (regions and full images) are investigated. We observe that selecting regions to annotate instead of full images leads to more well-calibrated models. Additionally, we experimentally show that annotating regions can cut 50% of pixels that need to be labeled by humans compared to annotating full images.

研究の動機と目的

• 人為ラベル付きピクセル数を最小限に抑えることで、医療画像セグメンテーションにおけるラベル付けコストを低減すること。
• 不確実性推定と取得戦略がアクティブラーニングにおけるモデルのキャリブレーションと性能に与える影響を調査すること。
• ラベル付け効率とモデルキャリブレーションの観点から、領域ベースと全画像取得戦略を比較すること。
• 不確実性キャリブレーションが、画像セグメンテーションにおけるアクティブラーニングの効率に与える影響を評価すること。

提案手法

• セマンティックセグメンテーションに適した畳み込みニューラルネットワーク（CNN）を用い、残差エンコーダー構造（ResNet-v2-50/101/152）を採用している。
• 不確実性は3つの方法で推定される：分散比（VarRatio）、エントロピー、不確実性に基づくバレイジアンアクティブラーニング（BALD）。
• 2つの取得戦略が評価されている：全画像ラベリングと、固定サイズの正方形領域を用いた領域ベースラベリング。
• 領域ベース取得では、モデルが最も不確実性の高い領域を選択し、未ラベルピクセルの予測結果を偽ラベルとして用いる。
• トレーニングループは、不確実性に基づいて新たな領域または画像を選択し、モデルを更新して収束するまで繰り返す。
• モデルキャリブレーションは、Brierスコア、NLL、ECE、および信頼性図などの指標を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 領域ベースのアクティブラーニングは、全画像取得と比較して、より良好な不確実性キャリブレーションを達成するか？
• RQ2 領域ベースの取得は、目標となるセグメンテーション精度に到達するためのラベル付きピクセル数を削減できるか？
• RQ3 VarRatio、エントロピー、BALDといった異なる不確実性推定手法が、領域ベースと全画像取得の両方の状況下で、性能とキャリブレーションの観点からどのように比較されるか？
• RQ4 モデルキャリブレーションとアクティブラーニングの効率性の間に相関関係があるか？

主な発見

• 領域ベース取得は、全画像取得と比較して、ラベル付きピクセル数を最大50%まで削減でき、同等またはより高いセグメンテーション精度を達成した。
• GlaSデータセットでは、BALDを用いた領域ベース取得が、平均52.94ピクセルのラベル付けで85%のF1スコアを達成したのに対し、全画像取得では76.47ピクセルが必要であった。
• 領域ベース取得は、Brierスコアが低く、信頼性図が改善されることで、より早く良好にキャリブレートされたモデルを達成した。
• 全画像取得では、不確実性に基づく選択は初期段階でランダム選択を下回るが、最終的にはそれを上回る。一方、領域ベース手法は、両者を常に上回った。
• トレーニングの初期段階では、特に全画像取得の場合、モデルのキャリブレーションが著しく劣っているが、ラベル付きデータが増えるにつれて改善された。
• ISICデータセットでは、BALDに基づく領域取得が最も高い性能を示し、VarRatioやエントロピーと比較してラベル付け作業を削減した。