[論文レビュー] A Probabilistic U-Net for Segmentation of Ambiguous Images

Simon Köhl, Bernardino Romera‐Paredes+7 more|arXiv (Cornell University)|Jun 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 151

ひとこと要約

本論文は、CVAEと統合された U-Net を使用してセグメンテーションマップの条件付き分布をモデル化する Probabilistic U-Net を提案し、あいまいな画像に対して複数の適切なセグメンテーション仮説と校正されたモード頻度を可能にします。

ABSTRACT

Many real-world vision problems suffer from inherent ambiguities. In clinical applications for example, it might not be clear from a CT scan alone which particular region is cancer tissue. Therefore a group of graders typically produces a set of diverse but plausible segmentations. We consider the task of learning a distribution over segmentations given an input. To this end we propose a generative segmentation model based on a combination of a U-Net with a conditional variational autoencoder that is capable of efficiently producing an unlimited number of plausible hypotheses. We show on a lung abnormalities segmentation task and on a Cityscapes segmentation task that our model reproduces the possible segmentation variants as well as the frequencies with which they occur, doing so significantly better than published approaches. These models could have a high impact in real-world applications, such as being used as clinical decision-making algorithms accounting for multiple plausible semantic segmentation hypotheses to provide possible diagnoses and recommend further actions to resolve the present ambiguities.

研究の動機と目的

• 単一のセグメンテーションによる誤診を避けるため、あいまいな画像シナリオ（例: 医用CT）におけるマルチ仮説セグメンテーションの必要性を動機づける。
• 入力画像を条件としてセグメンテーションの分布を学習する生成モデルを提案する。
• 多くのセグメンテーション仮説を効率的に生成し、それらの頻度を定量化できるようにする。
• 医療データと都市データセットで評価し、変動分布と希少モードの正確な再現を示す。

提案手法

• 画像を与えてセグメンテーションの条件付き密度をモデル化するため、U-Netと条件付き変分オートエンコーダを組み合わせる。
• セグメンテーションのバリアントを符号化する低次元潜在空間を用い、潜在サンプルを U-Net に注入して複数のセグメンテーションマップを生成する。
• 地上真実のバリエーションを潜在空間の位置へ写像する後方ネット（posterior net）で訓練し、KL ダイバージェンス項を含む変分下界を最適化する。
• 入力画像を条件として事前分布を設定し、学習された妥当なセグメンテーションの分布からサンプルを生成する。
• IoU に基づく一般化エネルギー距離を用いて、予測分布と地上 truth のセグメンテーション分布の比較を通じて分布品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 条件付き生成モデルは、あいまいな画像に対して多様で一貫性のあるセグメンテーション仮説を生み出せるか？
• RQ2 提案モデルは、一般的なモードと希少モードの両方とその頻度を正しく捉えるか？
• RQ3 分布精度とキャリブレーションの観点で、Probabilistic U-Net はベースラインのマルチ仮説手法とどのように比較されるか？
• RQ4 臨床または都市景観理解での実用性のために、モデルからのサンプリングは計算的に十分に効率的か？

主な発見

• Probabilistic U-Net は、医療データおよび Cityscapes 風データの両方で、マルチモーダルなセグメンテーション分布の再現性においてベースラインを上回る。
• 本モデルは、一般的なセグメンテーションだけでなく、希少モードを適切な頻度で学習・再現でき、校正されたモード確率を示す。
• 複数のセグメンテーション仮説のサンプリングは、サンプルごとにネットワークのごく一部を再評価するだけで済むため計算的に安価である。
• 潜在空間はセグメンテーションのバリアントとその構造の可視化・分析を可能にする。
• アブレーションにより、事前分布の条件付けと適切なネットワーク段階で潜在特徴を注入することが性能にとって重要であることが示される。