[論文レビュー] Uncertainty-Driven Semantic Segmentation through Human-Machine Collaborative Learning

Mahdyar Ravanbakhsh, Tassilo Klein+2 more|arXiv (Cornell University)|Sep 2, 2019

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、医療画像におけるアノテーションコストを低減するために、条件付きGANを用いた不確実性駆動型で人間と機械が協働するセマンティックセグメンテーションフレームワークを提案する。識別器の出力を不確実性スコアとして活用することで、専門家によるアノテーションに必要なのは、最も不確実な（分布外の）スライスのみとなり、完全に教師ありの手法が要するラベルデータの80%でさえも、ほぼ最先端の性能を達成する。

ABSTRACT

Deep learning-based approaches achieve state-of-the-art performance in the majority of image segmentation benchmarks. However, training of such models requires a sizable amount of manual annotations. In order to reduce this effort, we propose a method based on conditional Generative Adversarial Network (cGAN), which addresses segmentation in a semi-supervised setup and in a human-in-the-loop fashion. More specifically, we use the discriminator to identify unreliable slices for which expert annotation is required and use the generator in the GAN to synthesize segmentations on unlabeled data for which the model is confident. The quantitative results on a conventional standard benchmark show that our method is comparable with the state-of-the-art fully supervised methods in slice-level evaluation requiring far less annotated data.

研究の動機と目的

• 医療画像セグメンテーションのための深層学習モデルをトレーニングする際の高いアノテーションコストを低減すること。
• 医療画像におけるデータ不足に応えるために、効率的な人間と機械の協働を可能にする。
• 専門家のアノテーションを最小限に抑えつつ、高いセグメンテーション精度を維持する半教師ありでアクティブラーニングのフレームワークを開発すること。
• 条件付きGANにおける識別器を、人間によるアノテーションが必要なサンプルを選択するための信頼できる不確実性推定器として活用すること。
• 完全に教師ありの手法に比べてはるかに少ないラベルデータを用いて、最先端の性能に近い結果を達成すること。

提案手法

• U-NetジェネレータとパッチGAN識別器を用いた条件付きGAN（cGAN）を、画像からセグメンテーションへの変換にトレーニングする。
• ラベルなしデータ上の予測の順位付けに、識別器の出力スコアをモデルの不確実性の指標として用いる。
• 各アクティブラーニングサイクルにおいて、最も不確実な上位k件の予測（識別器スコアが最小のもの）を専門家のアノテーション対象に選択する。
• 残りの高信頼度の予測に対しては、トレーニング済みのジェネレータを用いて疑似ラベルを生成する。
• 実際の専門家によるアノテーションと合成された疑似ラベルの両方を組み合わせたデータセット上で、ジェネレータと識別器を繰り返し再トレーニングする。
• HVSMR 2016チャレンジの3D心血管MR画像を10分割交差検証を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANにおける識別器スコアは、医療画像セグメンテーションにおけるアクティブラーニングの不確実性推定として信頼できるものか？
• RQ2 高いセグメンテーション精度を維持しつつ、人間がループに参加するアノテーションをどの程度まで最小限に抑えられるか？
• RQ3 提案手法の性能は、ラベルデータ量の増加に伴ってどのように変化するか？完全に教師ありのベースラインと比較してどうか？
• RQ4 高信頼度のサンプルに対してジェネレータから得た疑似ラベルを用いることで、半教師あり設定におけるモデルの一般化性能が向上するか？
• RQ5 完全に教師ありのアプローチに比べてはるかに少ないラベルデータを用いて、提案手法がほぼ最先端の性能を達成できるか？

主な発見

• 識別器スコアとセグメンテーション品質との間に強い相関（r = 0.98、p < 0.001）が観察され、識別器が信頼できる不確実性推定器であることが裏付けられた。
• 完全に教師ありのベースラインで使用されたラベルデータの80%のみを用いても、心筋の平均Diceスコアは0.85、血流領域は0.94を達成し、最先端の性能に近づいた。
• ラベルデータの90%を用いた場合、心筋のDiceスコアは0.73、血流領域は0.95に達し、Isolaら（2017）の完全に教師ありの最先端モデルと同等またはそれを上回った。
• アノテーション予算が増加するにつれて性能が単調に向上し、不確実性に基づくサンプリングによるアクティブラーニングの有効性が示された。
• 高信頼度のサンプルに対して疑似ラベルを用いることで、モデルの性能に悪影響を及げることなく、専門家のアノテーションの必要性が著しく削減された。
• ラベルデータの70%しか使用しなかった場合でも、平均Diceスコアは82%を達成し、優れたデータ効率性を示した。