[論文レビュー] Weakly Supervised Semantic Segmentation Based on Web Image Co-segmentation

Tong Shen, Guosheng Lin+3 more|arXiv (Cornell University)|May 25, 2017

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 11

ひとこと要約

この論文は、画像ラベルからの高品質なピクセル単位のマスクを生成するために、ウェブ画像の共同セグメンテーションを活用する弱教師ありセマンティックセグメンテーション手法を提案する。検索エンジンからPASCAL VOC 2012のクラス固有の画像を取得し、大規模な共同セグメンテーションを適用することで、人為的ラベルなしに高品質なマスクを生成する。フレームワークはマスク生成ネットワークと最終的なセグメンテーションネットワークを訓練し、PASCAL VOC 2012で56.9 mIoUを達成し、画像ラベルのみを用いた弱教師あり手法として最先端の性能を示した。

ABSTRACT

Training a Fully Convolutional Network (FCN) for semantic segmentation requires a large number of masks with pixel level labelling, which involves a large amount of human labour and time for annotation. In contrast, web images and their image-level labels are much easier and cheaper to obtain. In this work, we propose a novel method for weakly supervised semantic segmentation with only image-level labels. The method utilizes the internet to retrieve a large number of images and uses a large scale co-segmentation framework to generate masks for the retrieved images. We first retrieve images from search engines, e.g. Flickr and Google, using semantic class names as queries, e.g. class names in the dataset PASCAL VOC 2012. We then use high quality masks produced by co-segmentation on the retrieved images as well as the target dataset images with image level labels to train segmentation networks. We obtain an IoU score of 56.9 on test set of PASCAL VOC 2012, which reaches the state-of-the-art performance.

研究の動機と目的

• ピクセル単位のマスクの高コストなラベル付けを、画像ラベルのみを用いて低減すること。
• ボクシングボックス、スクラッチ、サリエンシーマップなどの追加の監視に依存しないこと。
• インターネット規模のウェブ画像と共同セグメンテーションを活用して、スケーラブルな弱教師ありフレームワークを構築すること。
• 画像ラベルのみを用いてPASCAL VOC 2012で最先端の性能を達成すること。
• 共同セグメンテーションが弱教師あり学習のための高品質な疑似マスクを生成する有効性を検証すること。

提案手法

• PASCAL VOC 2012のクラス名をクエリとして、検索エンジン（FlickrおよびGoogle）から大規模なウェブ画像を取得する。
• 取得した画像に大規模な共同セグメンテーションフレームワークを適用し、人為的ラベルなしに高品質なピクセル単位のマスクを生成する。
• ウェブ画像からの共同セグメンテーションにより得られたマスクを疑似正例として用い、初期のマスク生成ネットワークを訓練する。
• マスク生成ネットワークを用いて、ターゲットデータセット（例：PASCAL VOC 2012）の画像に対して疑似マスクを生成する。
• 生成された疑似マスクとターゲットデータセットの画像ラベルを組み合わせて、最終的なセグメンテーションネットワークを訓練し、予測を最適化する。
• マルチスケール推論とCRFの後処理を用いて、局所化の正確性を向上させ、ノイズを低減する。

実験結果

リサーチクエスチョン

• RQ1 ウェブスケールの共同セグメンテーションは、弱教師ありセマンティックセグメンテーションのための高品質な疑似マスクを効果的に生成できるか？
• RQ2 マスク生成ネットワークの後に最終モデルを学習する二段階の訓練フレームワークは、画像ラベルのみを用いても競争力のある性能を達成できるか？
• RQ3 ボクシングボックスやスクラッチなどのより強い監視を用いる既存の弱教師あり手法と比べて、本手法はどのように性能を発揮するか？
• RQ4 マルチラベルモデリングと後処理（例：CRF）が最終的な性能に果たす寄与度はどの程度か？
• RQ5 共同セグメンテーションが共起するオブジェクトを正しく分離できない場合、どのような失敗事例が生じるか？

主な発見

• 提案手法は、PASCAL VOC 2012のテストセットで56.9 mIoUを達成し、弱教師ありセマンティックセグメンテーション分野で新たな最先端性能を樹立した。
• アブレーションスタディの結果、マルチラベルモジュールの導入により、検証セットでの性能が53.3 mIoUから55.1 mIoUに向上した。これはその重要性を示している。
• マルチスケール推論とCRFを組み合わせた最終モデルは、検証セットで56.4 mIoUを達成し、後処理が局所化の正確性を向上させることを示している。
• ポイント監視（46.1 mIoU）や画像ラベルのみ（49.8–51.2 mIoU）を用いる複数のベースライン手法を上回り、本手法の有効性を実証した。
• 主な失敗事例は、オブジェクトの共起（例：椅子とダイニングテーブルの併存）や低品質な共同セグメンテーションマスクに起因し、過剰または不十分なセグメンテーションが生じる。
• 本フレームワークは完全に弱教師ありであり、ボクシングボックス、スクラッチ、ピクセル単位のラベルなど、追加の監視情報は一切不要である。