[論文レビュー] Zero-Shot Semantic Segmentation

Maxime Bucher, Tuan-Hung Vu+2 more|arXiv (Cornell University)|Jun 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 10

ひとこと要約

本論文は、トレーニング例が一切ない状態で、未確認のオブジェクトカテゴリの画素分類を可能にする、ゼロショットセマンティックセグメンテーション（ZS3）という新しいタスクを導入する。提案されたZS3Netアーキテクチャは、生成モデルを用いて視覚的および言語的埋め込みを統合し、未確認クラスの特徴を合成する。さらに自己学習とグラフ・コンテキスト符号化により性能が向上し、Pascal-VOCおよびPascal-Contextデータセットで、最大10個の未確認クラスを含む状況でも、教師あり学習にほぼ匹敵する精度を達成した。

ABSTRACT

Semantic segmentation models are limited in their ability to scale to large numbers of object classes. In this paper, we introduce the new task of zero-shot semantic segmentation: learning pixel-wise classifiers for never-seen object categories with zero training examples. To this end, we present a novel architecture, ZS3Net, combining a deep visual segmentation model with an approach to generate visual representations from semantic word embeddings. By this way, ZS3Net addresses pixel classification tasks where both seen and unseen categories are faced at test time (so called "generalized" zero-shot classification). Performance is further improved by a self-training step that relies on automatic pseudo-labeling of pixels from unseen classes. On the two standard segmentation datasets, Pascal-VOC and Pascal-Context, we propose zero-shot benchmarks and set competitive baselines. For complex scenes as ones in the Pascal-Context dataset, we extend our approach by using a graph-context encoding to fully leverage spatial context priors coming from class-wise segmentation maps.

研究の動機と目的

• 推論時に新しい未確認オブジェクトカテゴリに一般化できないというセマンティックセグメンテーションモデルの限界を解決すること。
• トレーニング例が一切ない状態で、セマンティック記述のみを用いて、未確認のオブジェクトクラスの画素単位分類を可能にすること。
• 未確認クラスのラベルなしピクセルを用いた自己学習により、ゼロショットセグメンテーションの性能を向上させること。
• グラフコンテキスト符号化により空間的コンテキストの事前知識を活用し、複雑なシーンにおける認識性能を向上させること。

提案手法

• ZS3Netは、深層視覚セグメンテーションバックボーンと、未確認クラスのための言語的単語埋め込みを視覚的特徴空間にマップする生成モデルを統合する。
• モデルは、意味的類似度が空間的近接性に相当する、視覚的・言語的埋め込みの統合空間を用いることで、ゼロショット転送を可能にする。
• 自己学習ステップでは、トレーニング中に未確認クラスの高信頼度ピクセルに対して自動的に偽ラベルを生成し、一般化性能を向上させる。
• グラフコンテキスト符号化は、オブジェクトクラス間の空間的関係をモデル化し、複雑なシーンにおける特徴表現を強化する。
• 本フレームワークは、テスト時に既存クラスと未確認クラスの両方が存在する一般化ゼロショット学習をサポートする。
• モデルのトレーニングは、既存クラスにおける教師あり損失と、生成された未確認クラス特徴からの合成教師信号を組み合わせて行う。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に一度も見なかったオブジェクトカテゴリを認識できるように、セマンティックセグメンテーションモデルをトレーニングできるか？
• RQ2 どのようにして、意味的単語埋め込みから未確認クラスの視覚的特徴を効果的に生成できるか？
• RQ3 未確認クラスのピクセルを偽ラベル化して自己学習を実施することで、ゼロショットセグメンテーションの性能はどの程度向上するか？
• RQ4 空間的コンテキスト事前知識（例：オブジェクトの共起パターン）は、複雑なシーンにおけるゼロショットセグメンテーションにどのように寄与するか？

主な発見

• Pascal-VOCで2つの未確認クラスを想定した場合、ZS3Netは平均IoU 75.7を達成し、教師ありベースラインの76.1に非常に近い結果を得た。
• 自己学習を適用したZS5Netでは、Pascal-VOCで2つの未確認クラスを想定した場合、全体の調和平均IoUが75.7に達し、教師あり性能と一致した。
• Pascal-Contextで2つの未確認クラスを想定した場合、ZS5Netは調和平均IoU 47.7を達成し、ZSLベースラインを顕著に上回った。
• グラフコンテキスト符号化により、Pascal-Contextにおけるすべての未確認クラススプリットで、mIoUが一貫して向上した。
• Pascal-VOCでは未確認ピクセルの25%、Pascal-Contextでは75%の高スコアピクセルを自己学習に使用した場合が最適であり、未確認クラスのmIoUが最大10%向上した。
• 定性的な結果から、ZS5Netは「モーターバイク」や「牛」など、事前にトレーニングされていなかったオブジェクトを正しくセグメンテーションできており、ベースラインモデルはそれらを既存クラスの混合物として誤分類していた。