[論文レビュー] What's the Point: Semantic Segmentation with Point Supervision

Amy Bearman, Olga Russakovsky+2 more|arXiv (Cornell University)|Jun 6, 2015

Advanced Neural Network Applications参考文献 46被引用数 47

ひとこと要約

本稿では、画像レベルまたは全ピクセルレベルのアノテーションと比較して、より効率的なセマンティックセグメンテーションのためのポイントレベルの監視——各オブジェクトクラスごとに1つのポイントをアノテーターが指定する——を提案する。畳み込みニューラルネットワーク（CNN）の損失関数に学習されたオブジェクトネス事前分布を統合することで、PASCAL VOC 2012で43.6%のmIOUを達成し、画像レベルの監視よりも12.9%のmIOU向上を達成。同じアノテーション予算下で、スイグルルーブや全監視で学習したモデルを上回る性能を示した。

ABSTRACT

The semantic image segmentation task presents a trade-off between test time accuracy and training-time annotation cost. Detailed per-pixel annotations enable training accurate models but are very time-consuming to obtain, image-level class labels are an order of magnitude cheaper but result in less accurate models. We take a natural step from image-level annotation towards stronger supervision: we ask annotators to point to an object if one exists. We incorporate this point supervision along with a novel objectness potential in the training loss function of a CNN model. Experimental results on the PASCAL VOC 2012 benchmark reveal that the combined effect of point-level supervision and objectness potential yields an improvement of 12.9% mIOU over image-level supervision. Further, we demonstrate that models trained with point-level supervision are more accurate than models trained with image-level, squiggle-level or full supervision given a fixed annotation budget.

研究の動機と目的

• セマンティックセグメンテーションにおけるアノテーションコストを削減するとともに、画像レベルの監視を上回るモデル精度を向上させること。
• 最小限の人的作業で済むポイントレベルのアノテーションが、強力で実用的な弱い監視形式として機能できるかどうかを調査すること。
• スパースなポイント監視からオブジェクト全体の領域を予測できるようにモデルを導くために、オブジェクトネス事前分布を組み込んだ新しい訓練損失を考案すること。
• 全監視、スイグルルーブ、画像レベル、ポイントレベルの監視を含む、複数の監視形態におけるアノテーション時間とセグメンテーション精度のトレードオフを評価すること。
• 今後のセマンティックセグメンテーション研究におけるポイントレベル監視の採用を促進するため、公開可能なデータセットとアノテーションインターフェースを提供すること。

提案手法

• アノテーターは、各画像のオブジェクトクラスごとに1つのインスタンスを指すよう指示され、ピクセルレベルのラベリングと比較して著しく短いアノテーション時間で済む。
• ポイント監視と学習されたオブジェクトネスポテンシャルを組み合わせた修正された損失関数を用いて、深層畳み込みニューラルネットワーク（CNN）を訓練する。
• オブジェクトネスポテンシャルは、各ピクセルごとにその位置がオブジェクトに属する可能性を推定するスコアであり、事前に訓練されたオブジェクトネスモデルから得られる。
• 損失関数は、ポイント監視の交差エントロピーと、オブジェクトネススコアの重み付き和を組み合わせており、ネットワークがオブジェクト領域で高い信頼度を予測するよう促進する。
• 標準的なCNNアーキテクチャ（例：FCN-8sまたは類似構造）を用いて、確率的勾配降下法でエンドツーエンドに訓練する。これは先行研究から適応されたものである。
• オブジェクトネス事前分布は、訓練中に損失関数のユニタリ項として適用され、スパースな監視下でもオブジェクトとバックグラウンドを区別できるようにモデルを学習させる。

実験結果

リサーチクエスチョン

• RQ1 アノテーターが全ピクセルをラベル付けするのではなく、オブジェクトを指すだけのポイントレベルの監視が、画像レベルの監視よりも顕著に高いセグメンテーション精度を達成できるか？
• RQ2 固定されたアノテーション予算下で、ポイントレベルの監視は、スイグルルーブやバウンディングボックスなどの他の弱い監視形式と比較して、性能に優れているか？
• RQ3 学習されたオブジェクトネス事前分布を訓練損失に効果的に統合することで、スパースなポイントアノテーションからの一般化性能が向上するか？
• RQ4 全アノテーション時間の制限下で、ポイントレベルの監視は全ピクセルレベルの監視を上回る性能を示すか？
• RQ5 ポイント監視とオブジェクトネス事前分布の組み合わせは、単体で用いる場合よりも効果的か？

主な発見

• PASCAL VOC 2012の検証セットにおいて、ポイントレベルの監視は画像レベルの監視に比べてmIOUを12.9%向上させ、42.9%のmIOUを達成した。
• 固定されたアノテーション予算下で、ポイントレベルの監視で学習したモデルは、画像レベル、スイグルルーブレベル、全ピクセルレベルの監視で学習したモデルよりも2.7～20.8%のmIOU向上を達成した。
• PASCAL VOC 2012のテストセットでは、本手法が43.6%のmIOUを達成し、画像レベル監視（29.8%のmIOU）を上回り、他の弱い監視手法と同等またはそれを上回った。
• オブジェクトネス事前分布により、オブジェクトの正確な範囲がラベル付けされていなくても、1クラスあたり1点のスパースな監視からの正確なセグメンテーションが可能になった。
• ポイントレベルの監視のアノテーション時間は、9,576枚の画像で約79時間と推定された。これに対し、全ピクセルレベルの監視では800時間必要であり、はるかに効率的である。
• 本手法は頑健で汎用性が高く、簡素化されたベースラインモデルですら、ポイントレベルの監視を用いることで、最先端の弱い監視モデルを上回る性能を示した。