[論文レビュー] Weakly- and Semi-Supervised Learning of a DCNN for Semantic Image Segmentation

George Papandreou, Liang-Chieh Chen+2 more|arXiv (Cornell University)|Feb 9, 2015

Advanced Neural Network Applications参考文献 31被引用数 361

ひとこと要約

本論文は、弱教師あり（画像レベルのラベルやバウンディングボックス）および半教師あり（少数のピクセルレベルのラベル + 多数の弱教師ありラベル付き画像）データを用いた、DeepLab-CRFモデルのトレーニングのための期待最大化（EM）フレームワークを提案する。本手法は、弱教師ありラベルのみを用いてPASCAL VOC 2012で69.0%の平均IOUを達成し、PASCALとMS-COCOデータセットを組み合わせることで73.9%に向上し、完全教師ありの性能に匹敵する一方で、アノテーションコストを顕著に削減した。

ABSTRACT

Deep convolutional neural networks (DCNNs) trained on a large number of images with strong pixel-level annotations have recently significantly pushed the state-of-art in semantic image segmentation. We study the more challenging problem of learning DCNNs for semantic image segmentation from either (1) weakly annotated training data such as bounding boxes or image-level labels or (2) a combination of few strongly labeled and many weakly labeled images, sourced from one or multiple datasets. We develop Expectation-Maximization (EM) methods for semantic image segmentation model training under these weakly supervised and semi-supervised settings. Extensive experimental evaluation shows that the proposed techniques can learn models delivering competitive results on the challenging PASCAL VOC 2012 image segmentation benchmark, while requiring significantly less annotation effort. We share source code implementing the proposed system at https://bitbucket.org/deeplab/deeplab-public.

研究の動機と目的

• ピクセルレベルのセグメンテーションにかかる高額なアノテーションコストを低減するため、弱教師ありおよび半教師あり学習を活用すること。
• 画像レベルのラベルやバウンディングボックスを弱教師として用いて、DeepLab-CRFモデルをEMベースでトレーニングする手法を開発すること。
• 少数のピクセルレベルアノテーション付き画像と多数の弱教師ありラベル付き画像が利用可能な半教師あり設定における性能を評価すること。
• PASCALやMS-COCOなどの複数のデータセットからのアノテーションを統合することで性能を向上させること。
• 弱教師あり学習が、著しく少ないアノテーション作業量で、完全教師ありの性能に匹敵する結果を達成できることを示すこと。

提案手法

• 本手法は、期待最大化（EM）アルゴリズムを用い、弱教師あり制約下での潜在的なピクセル単位のラベル推定と、確率的勾配降下法（SGD）によるDeepLab-CRFモデルパラメータの最適化を交互に繰り返す。
• Eステップでは、モデルが弱教師ありラベル（例：画像レベルのクラス存在情報やバウンディングボックス領域）を条件として、ピクセル単位の予測を推定し、弱教師あり制約と整合性を保つようにする。
• Mステップでは、推定されたピクセルレベルのラベルに基づき、DCNNおよびCRFパラメータを標準的なバックプロパゲーションで更新する。
• バウンディングボックスによる弱教師あり学習では、バウンディングボックスから得られる前景／背景セグメンテーションを弱教師として用い、外部のオブジェクト検出モジュールやセグメンテーションモジュールに依存しない。
• 少数のピクセルレベルアノテーション付き画像と多数の弱教師ありラベル付き画像（バウンディングボックスまたは画像レベルラベル）を組み合わせることで、半教師あり学習に拡張する。
• PASCALとMS-COCOの両方のデータセットからの強教師ありアノテーションを用いたマルチデータセット事前学習および共同学習により、本手法をさらに強化する。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルのアノテーションが一切ない画像レベルラベルのみでトレーニングされたDCNNベースのセマンティックセグメンテーションモデルは、競争力のある性能を達成できるか？
• RQ2 提案されたEMベースの手法は、バウンディングボックスラベルのみを用いたセマンティックセグメンテーションモデルのトレーニングにおいて、どの程度有効か？
• RQ3 少数のピクセルレベルアノテーション付き画像と多数の弱教師ありラベル付き画像を組み合わせた場合、完全教師ありモデルの性能にどの程度近づけるか？
• RQ4 PASCALやMS-COCOなどの複数のデータセットからの弱教師ありまたは強教師ありアノテーションを統合することで、セグメンテーション精度をさらに向上させられるか？
• RQ5 提案されたEMフレームワークは、既存のMILベースの手法に比べ、弱教師ありセマンティックセグメンテーションにおいて優れているか？

主な発見

• 本モデルは、バウンディングボックスラベルのみを用いた場合、PASCAL VOC 2012で62.2%の平均IOUを達成し、最小限の監視情報で優れた性能を示した。
• 画像レベルラベルのみを用いた場合、39.6%のIOUを達成し、外部のオブジェクト検出モジュールやセグメンテーションモジュールを必要とせず、最先端の結果に近づいた。
• 半教師あり設定では、2.9k枚のピクセルレベルアノテーション付き画像と9k枚の画像レベルラベル付き画像を用いた場合、68.5%のIOUを達成し、完全教師ありベースラインからわずか2%の差にとどまった。
• PASCALとMS-COCOの両方のデータセットからの強教師ありアノテーションを統合したことで、PASCAL VOC 2012で73.9%のIOUを達成し、以前の手法を上回った。
• EMベースのアプローチは、既存のMILベースの手法を上回り、著しく低いアノテーションコストで準最先端の性能を達成した。
• 本手法は、異なるデータセットや設定においても良好に一般化し、弱教師ありおよび半教師あり学習の場面において、強固でスケーラブルな性能を示した。