[論文レビュー] Annotation-cost Minimization for Medical Image Segmentation using Suggestive Mixed Supervision Fully Convolutional Networks

Yash Bhalgat, Meet Shah+1 more|arXiv (Cornell University)|Dec 29, 2018

Advanced Neural Network Applications参考文献 6被引用数 16

ひとこと要約

本稿では、完全畳み込みネットワークを用いた提示的混合教師付き学習を用いて、予算制約のもとでコストを最小化する医療画像セグメンテーションのフレームワークを提案する。不確実性および類似性を考慮した線形計画法を用いて最適なアノテーション（密分類、ボクシングボックス、ランドマーク）を選択することで、完全教師あり学習に比べて10倍低いアノテーションコストで最先端のセグメンテーション性能を達成した。この有効性は、JSRTデータセットを用いて実証された。

ABSTRACT

For medical image segmentation, most fully convolutional networks (FCNs) need strong supervision through a large sample of high-quality dense segmentations, which is taxing in terms of costs, time and logistics involved. This burden of annotation can be alleviated by exploiting weak inexpensive annotations such as bounding boxes and anatomical landmarks. However, it is very difficult to extit{a priori} estimate the optimal balance between the number of annotations needed for each supervision type that leads to maximum performance with the least annotation cost. To optimize this cost-performance trade off, we present a budget-based cost-minimization framework in a mixed-supervision setting via dense segmentations, bounding boxes, and landmarks. We propose a linear programming (LP) formulation combined with uncertainty and similarity based ranking strategy to judiciously select samples to be annotated next for optimal performance. In the results section, we show that our proposed method achieves comparable performance to state-of-the-art approaches with significantly reduced cost of annotations.

研究の動機と目的

• 密なピクセルレベルのセグメンテーションの高コストなアノテーションを、ボクシングボックスやランドマークなどの弱い、低コストな教師信号を活用することで低減すること。
• 固定された予算のもとで、異なるアノテーションタイプ（セグメンテーション、検出、ランドマーク）の最適なバランスを特定する課題に対処すること。
• コストを最小限に抑えつつセグメンテーション性能を最大化するため、次にどの画像とどのアノテーションタイプを選択するかを動的に決定する提示的アノテーション戦略を開発すること。
• 不確実性推定とサンプルの多様性を、混合教師付き学習におけるコスト効率の良いアクティブラーニングのための線形計画法フレームワークに統合すること。

提案手法

• 密度分類、ランドマーク検出、ボクシングボックス回帰の3つのサブネットワークを備えた変更版のMS-Netアーキテクチャを用い、不確実性推定のためにコンクリートドロップアウトを各ネットワークに追加する。
• 異なるアノテーションコスト（C_s=10, C_d=1, C_l=7）と、各アノテーションタイプごとの限界IoU向上量を表す価値推定（V_i）を割り当てる。
• 不確実性（u(x)）を重み付けし、類似性（S(x,X_init)）によるペナルティを課すことで多様性を促進する線形計画法（LP）の定式化を用いて、合計の価値向上を最大化する。
• バイナリ意思決定変数z(x)を用いて各画像ごとのアノテーションタイプを選択し、総予算bの制約のもとで最適化を実行し、cvxpyを用いて解く。
• 観察されたIoU向上とアノテーション頻度に基づく重み付き平均を用いて、価値推定V_iを動的に更新する。
• 新たにアノテートされたサンプルをX_initに追加した後、ネットワークを繰り返し再訓練することで、予算制約のもとで段階的な性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 固定されたアノテーション予算のもとで、密分類、ボクシングボックス、ランドマークアノテーションの最適なバランスは何か？ そのバランスがセグメンテーション性能を最大にするか？
• RQ2 不確実性とサンプルの多様性を、混合教師付き学習設定においてコスト効率の良い医療画像セグメンテーションのためのアノテーション選択を支援するために効果的に活用できるか？
• RQ3 提案されたLPベースのアノテーション提案フレームワークは、最先端のアクティブラーニングおよび混合教師付き学習手法と比較して、性能-コストトレードオフの面で優れているか？
• RQ4 弱い教師信号（例えばボクシングボックスやランドマーク）は、高コストな密分類アノテーションにどれほど置き換え可能であり、高いセグメンテーション精度を維持できるか？

主な発見

• 提案されたSMS-Netは、完全教師あり学習に比べて10倍低いアノテーションコストで、JSRTデータセットにおいて最先端のセグメンテーション性能を達成した。
• 厳しい予算制約下では、低コストなアノテーション（ボクシングボックスとランドマーク）を優先し、性能向上に顕著な寄与を示した。
• 予算が増加するにつれて、より高い価値とコストを有する密分類に自然とシフトする傾向を示した。
• LPベースの選択戦略は、あらゆる予算レベルでベースライン手法よりも高いIoU性能を達成し、優れたコスト効率を示した。
• 動的価値更新メカニズム（V_i(t+1)）は、観察された性能向上に適応し、将来のアノテーション提案の正確性を向上させた。