[論文レビュー] A multi-task U-net for segmentation with lazy labels

Rihuan Ke, Aurélie Bugeau+3 more|arXiv (Cornell University)|Jul 22, 2019

Medical Image Segmentation Techniques参考文献 22被引用数 12

ひとこと要約

本論文では、少量のピクセル単位のアノテーション画像と、より多くの粗い「ラジカル的」ラベルを用いて、正確な多クラス画像セグメンテーションを実現するマルチタスクU-Netを提案する。粗い検出、インスタンス分離、正確な境界予測をエンドツーエンドの半教師ありフレームワークに統合することで、正確なアノテーションが限られた状況でも高いセグメンテーション精度を達成でき、アノテーション作業を顕著に削減する。

ABSTRACT

The need for labour intensive pixel-wise annotation is a major limitation of many fully supervised learning methods for image segmentation. In this paper, we propose a deep convolutional neural network for multi-class segmentation that circumvents this problem by being trainable on coarse data labels combined with only a very small number of images with pixel-wise annotations. We call this new labelling strategy 'lazy' labels. Image segmentation is then stratified into three connected tasks: rough detection of class instances, separation of wrongly connected objects without a clear boundary, and pixel-wise segmentation to find the accurate boundaries of each object. These problems are integrated into a multitask learning framework and the model is trained end-to-end in a semi-supervised fashion. The method is applied on a dataset of food microscopy images. We show that the model gives accurate segmentation results even if exact boundary labels are missing for a majority of the annotated data. This allows more flexibility and efficiency for training deep neural networks that are data hungry in a practical setting where manual annotation is expensive, by collecting more lazy (rough) annotations than precisely segmented images.

研究の動機と目的

• 医療および科学的画像セグメンテーションにおけるピクセル単位のアノテーションの高コストと高作業負荷を軽減すること。
• 粗い（ラジカル的）ラベルと最小限の完全アノテート済み画像の組み合わせを用いて、ディープセグメンテーションモデルの効果的学習を可能にすること。
• オブジェクト検出、インスタンス分離、正確な境界予測の3つのタスクを同時に最適化するマルチタスク学習フレームワークの開発。
• 正確なアノテーションが高価で入手困難なデータが少ない状況でのセグメンテーションパフォーマンスの向上。
• 現実の顕微鏡画像撮影において、ラジカル的ラベルを用いた半教師あり学習の実現可能性と有効性を示すこと。

提案手法

• モデルは、3つの関連するセグメンテーションタスク（クラスインスタンスの粗い検出、重複または誤って接続されたオブジェクトの分離、正確なピクセル単位の境界予測）を実行するマルチタスクU-Netアーキテクチャを採用する。
• フレームワークは、粗いラベルと少量のピクセル単位のアノテート済み画像を活用して、エンドツーエンドの半教師あり学習で訓練される。
• 損失関数は、3つのタスクからの監視信号を統合しており、弱教師ありデータから学習しつつ、少数の正確なアノテーションを活用して境界を精緻化できる。
• 本手法は、セグメンテーションの階層的性質（粗い局所化から細粒度の境界明確化まで）を明示的にモデル化する。
• 局所化精度の向上を図るため、交差エントロピー損失と境界に配慮した損失の組み合わせを用いてアーキテクチャを訓練する。
• 本手法は、少量の完全アノテート済み画像と多数の粗いラベルを用いて学習する食品顕微鏡画像データセットで評価されている。

実験結果

リサーチクエスチョン

• RQ1 少量のピクセル単位のアノテート済み画像と多数の粗いラジカル的ラベル画像のみを用いて、ディープラーニングモデルが高いセグメンテーション精度を達成できるか？
• RQ2 粗い検出、インスタンス分離、正確な境界予測を統合するマルチタスク学習フレームワークは、半教師ありセグメンテーションにおいてどの程度効果的か？
• RQ3 ラジカル的ラベルは、セグメンテーションパフォーマンスを損なわせることなく、どの程度アノテーションコストを削減できるか？
• RQ4 複数のセグメンテーションタスクの統合は、監視信号が少ない状況下で一般化性能と境界精度を向上させるか？

主な発見

• 少数のトレーニングデータにピクセル単位のアノテーションが存在する状況でも、本モデルは高いセグメンテーション精度を達成しており、弱教師あり環境下での強力な一般化能力を示している。
• 粗いラベルの使用により、アノテーション作業が顕著に削減された一方で、完全教師ありベースラインと比較しても競争力のあるパフォーマンスを維持している。
• マルチタスクフレームワークにより、ネットワークは階層的表現を学習でき、インスタンス分離と境界精度の両方を向上させている。
• 特に重なっているか、接続されたオブジェクトの処理において、標準的なU-Netや他の半教師あり手法を上回る性能を示している。