[論文レビュー] Transferable Semi-supervised Semantic Segmentation

Huaxin Xiao, Yunchao Wei+3 more|arXiv (Cornell University)|Nov 18, 2017

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

本稿では、少数の『強力』なカテゴリからのピクセルレベルのアノテーションを活用して、画像レベルのラベルのみで『弱い』カテゴリの高精度なセマンティックセグメンテーションを実現する、転送可能な半教師ありセマンティックセグメンテーションフレームワークを提案する。ラベル転送ネットワーク（L-Net）による粗いアノテーション転送と、予測転送ネットワーク（P-Net）による敵対的精錬を組み合わせることで、PASCAL VOC 2012でピクセルレベルアノテーションを50%と0%のカテゴリにのみ使用した場合、それぞれ96.5%および89.4%の完全教師あり性能を達成する。

ABSTRACT

The performance of deep learning based semantic segmentation models heavily depends on sufficient data with careful annotations. However, even the largest public datasets only provide samples with pixel-level annotations for rather limited semantic categories. Such data scarcity critically limits scalability and applicability of semantic segmentation models in real applications. In this paper, we propose a novel transferable semi-supervised semantic segmentation model that can transfer the learned segmentation knowledge from a few strong categories with pixel-level annotations to unseen weak categories with only image-level annotations, significantly broadening the applicable territory of deep segmentation models. In particular, the proposed model consists of two complementary and learnable components: a Label transfer Network (L-Net) and a Prediction transfer Network (P-Net). The L-Net learns to transfer the segmentation knowledge from strong categories to the images in the weak categories and produces coarse pixel-level semantic maps, by effectively exploiting the similar appearance shared across categories. Meanwhile, the P-Net tailors the transferred knowledge through a carefully designed adversarial learning strategy and produces refined segmentation results with better details. Integrating the L-Net and P-Net achieves 96.5% and 89.4% performance of the fully-supervised baseline using 50% and 0% categories with pixel-level annotations respectively on PASCAL VOC 2012. With such a novel transfer mechanism, our proposed model is easily generalizable to a variety of new categories, only requiring image-level annotations, and offers appealing scalability in real applications.

研究の動機と目的

• ピクセルレベルアノテーションの不足によるセマンティックセグメンテーションモデルのスケーラビリティ制限を解消すること。
• 強力にアノテートされたクラスと弱くアノテートされたクラスの間に重複のないカテゴリ間で一般化可能な半教師あり学習フレームワークを開発すること。
• ピクセルレベルの監視を最小限に抑え、画像レベルの監視のみで、数少ない良好にアノテートされたカテゴリから多数の新規導入カテゴリへ効果的な知識転送を可能にすること。
• 敵対的学習による精錬によって、粗い予測を改善し、細部の忠実度を向上させることで、弱教師ありカテゴリのセグメンテーション性能を向上させること。
• 大規模データセットのラベリングが現実的でないような実世界のシナリオにおけるモデルの適用可能性を高めること。

提案手法

• L-Netは、外観の類似性に基づいてクラスに依存しない粗いピクセルレベルマップを生成することで、強力なカテゴリから弱いカテゴリへのセグメンテーション知識を転送する。
• L-Netの出力から局所化された意味的シードに自己拡散アルゴリズムを適用し、弱いカテゴリのための洗練されたピクセルレベルアノテーションを生成する。
• P-Netは、強力なカテゴリにおける予測と正解セグメンテーションの間の構造的フィッティングパターンを学ぶために敵対的学習を用いる。
• P-Netは、予測と正解の乖離を最小化するように訓練され、L-Netによるノイズの多い出力を低減し、詳細な正確性を向上させる。
• 2つのネットワークは共同で訓練される：L-Netが初期の粗いラベルを提供し、P-Netがクラスに依存しない敵対的戦略でそれらを精錬する。
• P-Netの出力に対してCRFを用いた後処理を施し、境界の一貫性をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 少数の良好にアノテートされたカテゴリから、多数の未観測の弱くアノテートされたカテゴリへ、セグメンテーション知識を効果的に転送できるか？
• RQ2 ピクセルレベルアノテーションをわずかに持つカテゴリの割合が小さい状況でも、高いセグメンテーション精度を維持できるか？
• RQ3 敵対的学習を用いて、転送可能な粗い予測を精錬し、詳細の忠実度を向上させることができるか？
• RQ4 本手法は、訓練時に見られなかったカテゴリ、特に視覚的外観が類似するカテゴリへも一般化しやすいか？
• RQ5 限定的な監視条件下で、本手法の性能は最先端の弱教師ありおよび完全教師ありベースラインと比較してどうなるか？

主な発見

• 本手法は、PASCAL VOC 2012でピクセルレベルアノテーションを50%のカテゴリにのみ使用した場合、完全教師ありベースライン性能の96.5%を達成する。
• ピクセルレベルアノテーションを0%のカテゴリに使用した場合でも、完全教師あり性能の89.4%を達成し、強力な転送性を示す。
• 本手法は最先端の弱教師あり手法を上回り、特に事前にアノテーションのない新規導入カテゴリの処理において優れた性能を発揮する。
• L-Netは、再トレーニングなしで未学習のImageNetカテゴリに対しても良好に一般化し、シャープで完全なセグメンテーションマスクを生成する。
• P-Netは、L-Net出力のノイズ領域を低減させるとともに、正解との一貫性を高めることで、出力品質を著しく向上させる。
• 約17時間の合計トレーニング時間は、既存の弱教師あり手法と同等であり、1枚の300×400画像あたりの推論時間はたった0.2秒である。