[論文レビュー] Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

Yuchao Wang, Haochen Wang+7 more|arXiv (Cornell University)|Mar 8, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、不安定な予測を「類似度の低いクラスの負例」として扱うことで、信頼性の低い疑似ラベルを有効に活用する半教師ありセマンティックセグメンテーションフレームワークU2PLを提案する。エントロピーを用いた信頼性分離、負例のクラス別メモリバンクの維持、信頼性閾値の動的調整により、PASCAL VOC 2012およびCityscapesで最先端性能を達成し、低ショット設定下で最大2.2%のmIoU向上を実現した。

ABSTRACT

The crux of semi-supervised semantic segmentation is to assign adequate pseudo-labels to the pixels of unlabeled images. A common practice is to select the highly confident predictions as the pseudo ground-truth, but it leads to a problem that most pixels may be left unused due to their unreliability. We argue that every pixel matters to the model training, even its prediction is ambiguous. Intuitively, an unreliable prediction may get confused among the top classes (i.e., those with the highest probabilities), however, it should be confident about the pixel not belonging to the remaining classes. Hence, such a pixel can be convincingly treated as a negative sample to those most unlikely categories. Based on this insight, we develop an effective pipeline to make sufficient use of unlabeled data. Concretely, we separate reliable and unreliable pixels via the entropy of predictions, push each unreliable pixel to a category-wise queue that consists of negative samples, and manage to train the model with all candidate pixels. Considering the training evolution, where the prediction becomes more and more accurate, we adaptively adjust the threshold for the reliable-unreliable partition. Experimental results on various benchmarks and training settings demonstrate the superiority of our approach over the state-of-the-art alternatives.

研究の動機と目的

• 半教師ありセマンティックセグメンテーションにおける未ラベルデータの活用不足、特に低信頼度予測を持つピクセルの問題を解決すること。
• 従来手法が信頼性の低い予測を破棄するという制限を克服し、クラスの不均衡や学習不足を回避すること。
• 信頼性の低い予測を正例の疑似ラベルとしてではなく、類似度の低いクラスに対する負例信号として効果的に統合するフレームワークを提案すること。
• 境界領域などの曖昧な領域におけるモデルの汎化性能を向上させるために、信頼性の高低を問わずすべてのピクセルを活用すること。

提案手法

• ピクセル単位のエントロピーを用いて、予測を信頼性が高い（エントロピーが低い）ものと信頼性が低い（エントロピーが高い）ものに分類し、高信頼度と曖昧な予測を分離可能にする。
• 信頼性が高い予測は教師あり学習の正例疑似ラベルとして使用され、信頼性が低い予測は最も確率が低いクラスに対する負例として扱われる。
• 各クラスごとにクラス別メモリバンクを維持し、信頼性の低い予測を負例として格納することで、クラスの代表のバランスを保ち、対照的学習を強化する。
• モデルの信頼度の変化に応じて、信頼性と非信頼性の境界を動的に調整するための適応的閾値戦略を採用し、ロバストネスと汎化性能を向上させる。
• 対照的損失とクラス別メモリバンクを統合することで、信頼性の高いピクセルと信頼性の低いピクセルの両方を活用し、特徴の識別能を向上させる。
• 確率順位閾値（PRT）と高エントロピーフィルタリングを適用し、負例選択を精緻化することで、最も情報価値の高い信頼性の低い予測のみを採用する。

Figure 1 : Category-wise performance and statistics on number of pixels with reliable and unreliable predictions. Model is trained using $732$ labeled images on PASCAL VOC 2012 [ 14 ] and evaluated on the remaining $9,850$ images.

実験結果

リサーチクエスチョン

• RQ1 従来、破棄されていた信頼性の低い疑似ラベルを、半教師ありセマンティックセグメンテーションで効果的に活用できるか？
• RQ2 曖昧な予測をノイズやバイアスを導入せずに、有用な学習信号に変換する方法は何か？
• RQ3 負例としてのクラス別メモリバンクの維持は、モデルの汎化性能を向上させるとともに、クラスの不均衡を軽減できるか？
• RQ4 予測エントロピーに基づく適応的閾値戦略は、固定閾値に比べて学習効率と性能を向上させられるか？
• RQ5 信頼性の低い予測を統合することで、物体境界のような曖昧領域におけるセグメンテーション性能が向上するか？

主な発見

• PASCAL VOC 2012の検証セットにおいて、1/4パーティションプロトコル下でU2PLは79.30%のmIoUを達成し、以前の最先端手法を上回った。
• アブレーションスタディの結果、対照的損失、クラス別メモリバンク、動的パーティション調整、高エントロピーフィルタリングのすべてのコンポーネントを組み合わせた場合、ベースラインから6.05%の向上が得られた。
• 高エントロピーフィルタリングを実施しない場合、性能向上はわずか+4.55%にまで低下し、負例サンプリングの前に信頼性の低い予測をフィルタリングすることが極めて重要であることが示された。
• 最適な初期の信頼性／非信頼性パーティション比は20%の信頼性予測であると判明し、他の比（例：10% や 40%）では性能が劣化した。
• 定性的な結果から、U2PLは従来手法が苦手とする曖昧な領域、特に物体の境界部におけるセグメンテーション精度を顕著に向上させた。

Figure 2 : Illustration on unreliable pseudo-labels. (a) Pixel-wise entropy predicted from an unlabeled image, where low-entropy pixels and high-entropy pixels indicate reliable and unreliable predictions, respectively. (b) Pixel-wise pseudo-labels from reliable predictions only , where pixels withi