[論文レビュー] Learning Semantic Segmentation with Diverse Supervision

Linwei Ye, Zhi Liu+1 more|arXiv (Cornell University)|Feb 1, 2018

Advanced Neural Network Applications参考文献 22被引用数 5

ひとこと要約

本論文は、画像レベル、ボックスレベル、ピクセルレベルのラベルという多様な監視信号を同時に使用して、CNNベースのセマンティックセグメンテーションモデルを学習する柔軟でエンドツーエンドの深層学習フレームワークを提案する。各監視タイプに特化した3つの損失関数を導入することで、ピクセルレベルのラベルが限られた状況でも、PASCAL VOC 2012およびSIFT-Flowベンチマークで既存の弱教師ありアプローチを上回るセグメンテーション性能を顕著に向上させる。

ABSTRACT

Models based on deep convolutional neural networks (CNN) have significantly improved the performance of semantic segmentation. However, learning these models requires a large amount of training images with pixel-level labels, which are very costly and time-consuming to collect. In this paper, we propose a method for learning CNN-based semantic segmentation models from images with several types of annotations that are available for various computer vision tasks, including image-level labels for classification, box-level labels for object detection and pixel-level labels for semantic segmentation. The proposed method is flexible and can be used together with any existing CNN-based semantic segmentation networks. Experimental evaluation on the challenging PASCAL VOC 2012 and SIFT-flow benchmarks demonstrate that the proposed method can effectively make use of diverse training data to improve the performance of the learned models.

研究の動機と目的

• セマンティックセグメンテーションにおけるピクセルレベルのラベルの高コストと希少性を解消するため、より入手しやすい弱教師あり信号を活用すること。
• 画像レベル、ボックスレベル、ピクセルレベルの複数の監視タイプを統合した、統一的でエンドツーエンドの学習フレームワークを構築すること。
• すべての訓練データに対して完全なピクセルレベルのラベルを必要とせずに、CNNベースのセマンティックセグメンテーションモデルの性能を向上させること。
• バックボーンネットワークから監視メカニズムを分離することで、任意の既存のCNNベースのセグメンテーションアーキテクチャと互換性を持つこと。

提案手法

• 本手法は、画像レベルラベル、ボックスレベルラベル、ピクセルレベルラベルの各々に対して別々の損失関数を備えたマルチタスク学習フレームワークを採用する。
• ボックスレベルの監視では、複数のスケール強度における学習済みのしきい値戦略を用いて、外部のセグメンテーションツールに依存せずに擬似ピクセルレベルマスクを生成する。
• ボックスレベルの損失関数（式3）は、重複するバウンディングボックスにおけるラベルの曖昧さを、ネットワークからの信頼度スコアに基づいて重み付けすることで解消する。
• FCNや拡張ネットワークなどの既存のCNNベースのセグメンテーションアーキテクチャと互換性を持たせるために、すべての監視タイプを統合してセグメンテーションヘッドをエンドツーエンドで学習する。
• 画像レベルの監視ではソフトラベル戦略を採用し、正確な局所化を必要とせずに、クラス固有の活性化パターンを学習できるようにする。
• 限られたピクセルレベルデータと豊富な画像レベル・ボックスレベルラベルを組み合わせることで、半教師あり学習を可能にし、汎化性能と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングフレームワークが、画像レベル、ボックスレベル、ピクセルレベルのラベルを効果的に統合してセマンティックセグメンテーションの性能を向上させることができるか？
• RQ2 複数の監視タイプを統合したアプローチと、ピクセルレベルまたは弱教師ありデータのみを用いたアプローチとを比較した場合、性能にどのような差が生じるか？
• RQ3 ボックスレベルのラベルから擬似ピクセルレベルマスクを生成する最適な戦略は何か？誤差と曖昧さを最小限に抑えるには？
• RQ4 本手法は、高価なピクセルレベルラベルへの依存度をどの程度低減しつつも、高いセグメンテーション精度を維持できるか？
• RQ5 マスク生成における複数のスケールしきい値の使用が、最終的なセグメンテーション性能にどのように影響するか？

主な発見

• 提案手法は、半教師あり学習条件下でPASCAL VOC 2012のテストセットにおいて61.42のmIoUを達成し、既存の弱教師あり手法を上回った。
• ピクセルレベルラベルがたった1.4k個、ボックスレベルラベルが9k個の状況でも、完全教師ありベースラインの98.75%の性能を達成しており、優れたデータ効率性を示した。
• 提案されたボックスレベル監視損失関数を用いることで、バリデーションセットで57.51のmIoUを達成し、GrabCut、MCG、ハードセグメンテーションなどの代替戦略を1.0～1.9ポイント上回った。
• アブレーションスタディの結果、マスク生成に3つの強度しきい値を用いることで、単一のしきい値を用いる場合に比べて1.0～1.5ポイントのmIoU向上が確認された。
• FCNなどの標準アーキテクチャと組み合わせた場合でも、本手法は高い互換性と性能向上を示し、複数のベンチマークで一貫した改善が得られた。