[論文レビュー] Semi-supervised Semantic Segmentation with Prototype-based Consistency Regularization

Hai-Ming Xu, Lingqiao Liu+2 more|arXiv (Cornell University)|Oct 10, 2022

Advanced Neural Network Applications被引用数 44

ひとこと要約

プロトタイプベースの予測子を導入し、teacher-studentフレームワーク内で線形予測子に対する一貫性損失を課すことで、semi-supervised semantic segmentation におけるラベル伝搬を改善し、クラス内変動を低減します。

ABSTRACT

Semi-supervised semantic segmentation requires the model to effectively propagate the label information from limited annotated images to unlabeled ones. A challenge for such a per-pixel prediction task is the large intra-class variation, i.e., regions belonging to the same class may exhibit a very different appearance even in the same picture. This diversity will make the label propagation hard from pixels to pixels. To address this problem, we propose a novel approach to regularize the distribution of within-class features to ease label propagation difficulty. Specifically, our approach encourages the consistency between the prediction from a linear predictor and the output from a prototype-based predictor, which implicitly encourages features from the same pseudo-class to be close to at least one within-class prototype while staying far from the other between-class prototypes. By further incorporating CutMix operations and a carefully-designed prototype maintenance strategy, we create a semi-supervised semantic segmentation algorithm that demonstrates superior performance over the state-of-the-art methods from extensive experimental evaluation on both Pascal VOC and Cityscapes benchmarks.

研究の動機と目的

• 半監視型セマンティックセグメンテーションにおけるラベル伝搬を妨げる大きなクラス内変動に対処する。
• クラス内特徴分布を正則化するプロトタイプベースの予測子と一貫性損失を提案する。
• CutMixとプロトタイプ維持戦略を取り入れ、頑健性と性能を向上させる。
• PASCAL VOC 2012とCityscapesにおいて最先端手法と比較して優れた性能を示す。

提案手法

• 学習可能な線形予測子とプロトタイプベース予測子（動的プロトタイプ集合を備える）という2頭の予測子を用いる。
• 線形予測子の出力（teacher）とプロトタイプ予測子の出力（student）間の一貫性を促し、同一クラスの特徴がプロトタイプの周りにクラスタ化され、他のクラスと分離されるように特徴を正則化する。
• 混合ラベルなし画像での一貫性を保証し、頑健性を高めるためにCutMixを組み込む。
• ラベル付きピクセルと疑似ラベル付きピクセルを用いたランニングアベレージでプロトタイプを維持・更新する。
• 教師-生徒フレームワーク内で学習を行い、教師は未ラベルデータの疑似ラベルを提供し、その重みは生徒のEMAである。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプベースの表現は半監視型セマンティックセグメンテーションにおけるクラス内変動をどのように緩和できるか？
• RQ2 線形予測とプロトタイプベース予測の一貫性を課すことはラベル伝搬とセグメンテーション精度を改善するか？
• RQ3 CutMixとプロトタイプ維持は半監視学習の性能にどのような影響を与えるか？
• RQ4 各クラスあたりのプロトタイプ数は表現力と計算量のバランスを最適にとるにはいくつが良いか？
• RQ5 本手法は標準ベンチマークで既存の半監視セグメンテーション手法を上回ることができるか？

主な発見

方法	1/16	1/8	1/4	1/2	全データ
Ours	70.06	74.71	77.16	78.49	80.65

• PASCAL VOC 2012（1/16からFullラベル）では、方法はそれぞれ70.06%、74.71%、77.16%、78.49%、および80.65% mIoUを達成し、Table 1で示された方法の中で最高。
• アプローチは supervised-only のベースラインより顕著な改善を示し、ラベル規模に関していくつかの最新の半監視法を凌駕する。
• プロトタイプベースの一貫性正則化はクラス内特徴分布をより圧縮し、ピクセルごとのラベル伝搬を支援する（t-SNEによる視覚的証拠）。
• アブレーション解析では線形予測子、プロトタイプ予測子、更新メカニズムを組み込んだ完全なモデルが最良を示す（Table 4）。
• クラスごとに複数のプロトタイプを使用すること（最適値は約4）は性能を向上させるが、プロトタイプが多すぎると収益が減少する。