[論文レビュー] UCC: Uncertainty guided Cross-head Co-training for Semi-Supervised Semantic Segmentation

Jiashuo Fan, Bin Gao+2 more|arXiv (Cornell University)|May 20, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、不確実性誘導型クロスヘッド相互学習と弱い・強いデータオーグメンテーションを統合することで一貫性と自己学習を向上させる、新しい半教師付きセマンティックセグメンテーションフレームワークUCCを提案する。動的クロスセットコピーペースト（DCSCP）を用いてデータの多様性を高め、ノイズの多い偽ラベルを抑える不確実性誘導再重み付けモジュール（UGRM）を導入することで、UCCは最先端の性能を達成し、1/16ラベル付きデータプロトコル下でCityscapesで77.17% mIoU、PASCAL VOC 2012で76.49%を達成した。

ABSTRACT

Deep neural networks (DNNs) have witnessed great successes in semantic segmentation, which requires a large number of labeled data for training. We present a novel learning framework called Uncertainty guided Cross-head Co-training (UCC) for semi-supervised semantic segmentation. Our framework introduces weak and strong augmentations within a shared encoder to achieve co-training, which naturally combines the benefits of consistency and self-training. Every segmentation head interacts with its peers and, the weak augmentation result is used for supervising the strong. The consistency training samples' diversity can be boosted by Dynamic Cross-Set Copy-Paste (DCSCP), which also alleviates the distribution mismatch and class imbalance problems. Moreover, our proposed Uncertainty Guided Re-weight Module (UGRM) enhances the self-training pseudo labels by suppressing the effect of the low-quality pseudo labels from its peer via modeling uncertainty. Extensive experiments on Cityscapes and PASCAL VOC 2012 demonstrate the effectiveness of our UCC. Our approach significantly outperforms other state-of-the-art semi-supervised semantic segmentation methods. It achieves 77.17$\%$, 76.49$\%$ mIoU on Cityscapes and PASCAL VOC 2012 datasets respectively under 1/16 protocols, which are +10.1$\%$, +7.91$\%$ better than the supervised baseline.

研究の動機と目的

• 一貫性正則化と自己学習の限界を克服するため、両者の長所を統合すること。
• 自己学習中に偽ラベルからのノイズ蓄積を不確実性に配慮した再重み付けによって低減すること。
• 動的かつクロスセットのコピーペースト戦略を用いて、トレーニングサンプルの多様性を向上させ、分布の不一致とクラス不均衡を軽減すること。
• 共有エンコーダと二重オーグメンテーションビューを介して、複数のセグメンテーションヘッド間で効果的な相互学習を可能にすること。

提案手法

• 共有エンコーダを備えたクロスヘッド相互学習フレームワークを導入し、各ヘッドが弱い・強いオーグメンテーションを用いて一貫した予測を生成する。
• ラベル付きおよびラベルなしデータセットから両方をコピーすることで、長尾カテゴリを保持した多様で変形されたトレーニングサンプルを生成する動的クロスセットコピーペースト（DCSCP）を採用する。
• 同僚ヘッドからの低信頼度の偽ラベルを動的に低減することで、自己学習におけるノイズを低減する不確実性誘導再重み付けモジュール（UGRM）を適用する。
• 弱いオーグメンテーションによる予測を、強いオーグメンテーション出力の監督信号として用いることで、一貫性と一般化性能を向上させる。
• 学習可能なトレードオフハイパーパrameter λ を用いて教師ありと教師なし損失をバランスさせ、経験的に最適化する。
• ヘッド間で共有された表現を活用することで、マルチビュー学習による特徴の凝縮性と一般化性能を向上させる。

Figure 1 : Overview of our Uncertainty guided Cross-head Co-training. In our scheme, we use $head_{1}$ as an example, weakly augmented label data will flow through a shared module and corresponding segmentation $head_{1}$ to generate ${Pred}_{{1,weak}^{{}^{\prime}}}$ , then it will be supervised by

実験結果

リサーチクエスチョン

• RQ1 弱い・強いオーグメンテーションをクロスヘッド相互学習フレームワーク内で組み合わせることで、標準的一貫性学習を上回る半教師付きセマンティックセグメンテーションが達成可能か？
• RQ2 半教師付き学習における分布の不一致とクラス不均衡を解決しつつ、データオーグメンテーションの多様性をどのように向上できるか？
• RQ3 自己学習中に同僚ヘッドからのノイズの多い偽ラベルを不確実性モデリングによって効果的に抑制できるか？
• RQ4 共有エンコーダを用いたクロスヘッド相互学習は、従来のクロスモデル相互学習に比べ、性能と一般化能力で優れているか？

主な発見

• 1/16ラベル付きデータプロトコル下で、Cityscapesでは77.17% mIoUを達成し、教師ありベースラインから+10.1%の向上を示した。
• PASCAL VOC 2012でも同じプロトコル下で76.49% mIoUを達成し、教師ありベースラインから+7.91%の向上を示した。
• アブレーションスタディの結果、強いオーグメンテーションによる監督と比較して、弱いオーグメンテーションによる予測を監督信号として用いることで1.69%の性能向上が得られた。
• DCSCPはベースラインのコピーペーストと比較して1.78%の性能向上を示し、特にクロスセットと動的サンプリングの組み合わせによる改善が顕著だった。
• 最適なトレードオフ重み λ = 2 が最良の性能を示し、λ = 4 では自己学習損失の過剰強調により性能が低下した。
• クロスヘッドネットワークはクロスモデルネットワークを1.03% mIoU上回り、マルチヘッド相互学習における共有表現の利点を示した。

Figure 3 : Qualitative results on the Cityscapes val set.(a) and (b) are corresponding to target images and Ground Truth(GT), (c) represents the results of CPS [ 6 ] , (d) is our method results. Orange rectangles highlight the difference among of them.