[論文レビュー] Pseudo-Label Noise Suppression Techniques for Semi-Supervised Semantic Segmentation

Sebastian Scherer, Robin Schön+1 more|arXiv (Cornell University)|Oct 19, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

本論文は、3つの主要な技術を用いて疑似ラベルのノイズを低減することで性能を向上させる半教師ありセマンティックセグメンテーションフレームワークを提案する：cow模様のマスクを用いた画像混合（CowMask）、信頼度に基づく疑似ラベル重み付け、および低信頼度疑似ラベルの除去のアブレーション。この手法は最先端の結果を達成し、Cityscapesで15枚のラベル付き画像のみを用いてmIoUを+13.5%向上させ、人体ポーズ推定にも一般化可能である。

ABSTRACT

Semi-supervised learning (SSL) can reduce the need for large labelled datasets by incorporating unlabelled data into the training. This is particularly interesting for semantic segmentation, where labelling data is very costly and time-consuming. Current SSL approaches use an initially supervised trained model to generate predictions for unlabelled images, called pseudo-labels, which are subsequently used for training a new model from scratch. Since the predictions usually do not come from an error-free neural network, they are naturally full of errors. However, training with partially incorrect labels often reduce the final model performance. Thus, it is crucial to manage errors/noise of pseudo-labels wisely. In this work, we use three mechanisms to control pseudo-label noise and errors: (1) We construct a solid base framework by mixing images with cow-patterns on unlabelled images to reduce the negative impact of wrong pseudo-labels. Nevertheless, wrong pseudo-labels still have a negative impact on the performance. Therefore, (2) we propose a simple and effective loss weighting scheme for pseudo-labels defined by the feedback of the model trained on these pseudo-labels. This allows us to soft-weight the pseudo-label training examples based on their determined confidence score during training. (3) We also study the common practice to ignore pseudo-labels with low confidence and empirically analyse the influence and effect of pseudo-labels with different confidence ranges on SSL and the contribution of pseudo-label filtering to the achievable performance gains. We show that our method performs superior to state of-the-art alternatives on various datasets. Furthermore, we show that our findings also transfer to other tasks such as human pose estimation. Our code is available at https://github.com/ChristmasFan/SSL_Denoising_Segmentation.

研究の動機と目的

• ラベルコストを削減する一方でモデル性能を低下させる要因となるノイズの多い疑似ラベルの問題に取り組む。
• 特に信頼度スコアに基づく疑似ラベルフィルタリング戦略の有効性を調査する。
• モデルのフィードバックに基づき動的に損失重みを調整する新しい損失重み付け機構の開発と評価を行い、低信頼度疑似ラベルの影響を低減する。
• 提案されたノイズ低減技術がセマンティックセグメンテーションを越えて、人体ポーズ推定などの他のビジョンタスクにも一般化可能であることを示す。

提案手法

• 未ラベル画像とcow模様を用いた画像混合によるデータ拡張技術「CowMask」を導入し、多様で現実的な訓練サンプルを生成することで、誤った疑似ラベルに依存するのを軽減する。
• 訓練中に予測された信頼度に基づき、疑似ラベル付きサンプルに動的損失重みを割り当てる信頼度ベースの疑似ラベル重み付け方式（PLW）を提案する。
• モデル自身の予測がバックプロパゲーション中に各疑似ラベルの重要性を決定するフィードバック駆動型損失関数を実装し、誤ったラベルの影響を最小限に抑える。
• 低信頼度疑似ラベルの除去をアブレーションとして評価し、重み付け訓練に比べて性能向上が限定的であることを示す。
• CowMask、PLW、反復的リファインメントを統合した一貫した訓練パイプラインを構築し、モデルのロバスト性と正確性を向上させる。
• フレームワークをセマンティックセグメンテーションおよび人体ポーズ推定の両タスクに適用し、タスク間での一般化性を検証する。

実験結果

リサーチクエスチョン

• RQ1 信頼度ベースの疑似ラベルフィルタリングは、半教師ありセマンティックセグメンテーションにおける性能にどのように影響し、顕著な向上をもたらすのか？
• RQ2 フィードバック駆動型で信頼度に重み付けされた損失関数は、トレーニング中にノイズの多い疑似ラベルの悪影響をどの程度軽減できるのか？
• RQ3 多様なマスク（CowMask）を用いた画像混合は、一般化性能を向上させ、誤ったラベルに依存するのを減らすのに有効なのか？
• RQ4 提案されたノイズ低減フレームワークは、セマンティックセグメンテーションを越えて、人体ポーズ推定のような他の密度予測タスクにも一般化可能か？
• RQ5 低データ環境下でCowMask、PLW、反復的リファインメントを統合した際の性能向上はどの程度か？

主な発見

• Cityscapesデータセットでラベル付き画像をたった15枚のみで学習した場合、提案手法は教師ありベースラインに対してmIoUを+13.5%向上させた。
• ラベルデータの1/16の割合で学習した場合、Cityscapesで71.3%のmIoUを達成し、ベースラインおよびナイーブな自己学習手法を上回った。
• PASCAL VOC 2012では、1/16プロトコル下でmIoUが+17.6%向上し、低データ環境下での優れた性能を示した。
• 信頼度重み付き損失（PLW）が性能向上に大きく寄与しており、フィルタリング手法や標準的な自己学習よりも優れた性能を示した。
• CowMaskを用いた画像混合は、特に初期トレーニング段階で、標準的なCutMixよりも優れた一般化性能を示した。
• フレームワークは人体ポーズ推定にも効果的に一般化され、同じノイズ低減技術を用いてLSPデータセットでPCK@0.2スコアを向上させた。