[論文レビュー] ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation

Di Lin, Jifeng Dai+3 more|arXiv (Cornell University)|Apr 18, 2016

Advanced Neural Network Applications参考文献 23被引用数 4

ひとこと要約

本稿では、密なピクセルレベルのマスクではなく、疎なスクリッチアノテーションを用いて完全畳み込みネットワークを訓練する弱教師付きセマンティックセグメンテーション手法、ScribbleSupを提案する。グラフモデルによるラベル伝搬とエンドツーエンドのディープラーニングを統合的最適化することで、PASCAL-CONTEXTで36.1%のmIoU、VOC 2012で73.1%の性能を達成し、低コストなスクリッチアノテーションが最小限のラベルコストで顕著な精度向上を実現できることを示している。

ABSTRACT

Large-scale data is of crucial importance for learning semantic segmentation models, but annotating per-pixel masks is a tedious and inefficient procedure. We note that for the topic of interactive image segmentation, scribbles are very widely used in academic research and commercial software, and are recognized as one of the most user-friendly ways of interacting. In this paper, we propose to use scribbles to annotate images, and develop an algorithm to train convolutional networks for semantic segmentation supervised by scribbles. Our algorithm is based on a graphical model that jointly propagates information from scribbles to unmarked pixels and learns network parameters. We present competitive object semantic segmentation results on the PASCAL VOC dataset by using scribbles as annotations. Scribbles are also favored for annotating stuff (e.g., water, sky, grass) that has no well-defined shape, and our method shows excellent results on the PASCAL-CONTEXT dataset thanks to extra inexpensive scribble annotations. Our scribble annotations on PASCAL VOC are available at http://research.microsoft.com/en-us/um/people/jifdai/downloads/scribble_sup

研究の動機と目的

• セマンティックセグメンテーションのアノテーション負荷を軽減するため、密なマスクアノテーションに代えて、より迅速かつユーザーフレンドリーに作成可能な疎なスクリッチアノテーションを用いること。
• スクリッチを弱教師信号として用いて深層畳み込みネットワークを学習する手法を開発し、画像レベルおよびボックスレベルの教師信号とのギャップを埋めること。
• スクリッチアノテーションが、境界が曖昧な「ストラテジック」カテゴリ（例：空、芝、水）に対して、マスクレベルのアノテーションと比較してコスト効率の良い代替手段となり得るかどうかを評価すること。
• 半教師付き学習の文脈において、限られたマスクレベルのデータと大規模で低コストなスクリッチアノテーションデータを組み合わせることで、モデルの精度がどの程度向上するかを示すこと。

提案手法

• 本手法は、空間的近接性、外観類似性、および意味的文脈に基づいて、スクリッチラベルを未ラベルピクセルに伝搬するためのグラフモデルを用いる。
• グラフモデルの信頼度スコアとネットワークのセグメンテーション予測を統合した統一損失関数を用いて、ラベル伝搬とディープネットワーク学習を同時に最適化する。
• グラフモデルから伝搬されたラベルを反復的に精練しながら、完全畳み込みネットワーク（FCN）をエンドツーエンドで学習する。
• フレームワークは、グラフモデルのラベル伝搬の更新と、FCNを介した勾配逆伝播による特徴表現の精練を交互に繰り返す。
• 少量のマスクアノテート済み画像と、別のデータセット（例：VOC 2007）からの大規模なスクリッチアノテート画像を組み合わせることで、半教師付き学習を実現し、一般化性能を向上させる。
• 本手法は汎用的であり、ボックスレベルや画像レベルのアノテーションなどの他の弱教師信号にも容易に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 スクリッチアノテーションは、セマンティックセグメンテーションモデルの学習に、効果的かつ効率的なマスクアノテーションの代替手段として機能するか？
• RQ2 マスクアノテーションで完全に教師付き学習されたモデルと比較して、スクリッチ教師付きモデルの性能はどの程度か？
• RQ3 特に「ストラテジック」カテゴリ（例：空、芝、水）に対して、スクリッチアノテーションはボックスレベルや画像レベルの弱教師信号と比較して、より優れた性能を発揮するか？
• RQ4 半教師付き学習の文脈において、大規模で低コストなスクリッチアノテーションデータと限られたマスクレベルデータを組み合わせることで、モデル精度はどの程度向上するか？
• RQ5 ラベル伝搬とディープネットワーク学習の統合的最適化は、標準的な弱教師付き手法よりも効果的か？

主な発見

• PASCAL VOC 2012の検証セットでは、スクリッチ教師付き手法が73.1%のmIoUを達成し、10,000枚のVOC 2007スクリッチアノテーションと11,000枚のマスクアノテート済み画像を用いても、強教師付き学習の最先端結果（74.8%以上）に非常に近い性能を示した。
• PASCAL-CONTEXTデータセットでは、スクリッチ教師付き手法が36.1%のmIoUを達成し、強教師付きベースライン（37.7%）からわずか1.6ポイントの性能低下に抑えられ、特に「ストラテジック」カテゴリで優れた性能を示した。
• 5,000枚のマスクアノテート済みPASCAL-CONTEXT画像と10,000枚のVOC 2007スクリッチアノテーションを組み合わせた半教師付き手法は、42.0%のmIoUを達成し、ボックスレベルアノテーションの1/10の数でBoxSup（40.5%）を上回った。
• 本手法は、境界が曖昧な「ストラテジック」カテゴリ（例：空、芝、水）のセグメンテーションにおいて特に優れた性能を示しており、従来の手法では難しかった境界の正確なアノテーションが可能である。
• 結果から、スクリッチアノテーションはトレーニングデータのスケーリングにコスト効率の良い手段であり、安価なスクリッチデータを多く用いることで、モデル精度を顕著に向上させられると確認された。