[論文レビュー] Perturbed and Strict Mean Teachers for Semi-supervised Semantic Segmentation

Yuyuan Liu, Yu Tian+4 more|arXiv (Cornell University)|Nov 25, 2021

Advanced Neural Network Applications参考文献 42被引用数 14

ひとこと要約

本稿では、補助教師と信頼度重み付き交差エントロピー損失（Conf-CE）を導入することで予測精度を向上させ、一貫性学習を改善する、新たな半教師ありセマンティックセグメンテーション手法Perturbed and Strict Mean Teachers（PS-MT）を提案する。より信頼性の高い偽ラベルを可能にすることで、困難なネットワーク、入力、および敵対的特徴摺りつぶし（特にT-VAT）を効果的に活用でき、Pascal VOC 2012およびCityscapesベンチマークで最先端の性能を達成する。

ABSTRACT

Consistency learning using input image, feature, or network perturbations has shown remarkable results in semi-supervised semantic segmentation, but this approach can be seriously affected by inaccurate predictions of unlabelled training images. There are two consequences of these inaccurate predictions: 1) the training based on the "strict" cross-entropy (CE) loss can easily overfit prediction mistakes, leading to confirmation bias; and 2) the perturbations applied to these inaccurate predictions will use potentially erroneous predictions as training signals, degrading consistency learning. In this paper, we address the prediction accuracy problem of consistency learning methods with novel extensions of the mean-teacher (MT) model, which include a new auxiliary teacher, and the replacement of MT's mean square error (MSE) by a stricter confidence-weighted cross-entropy (Conf-CE) loss. The accurate prediction by this model allows us to use a challenging combination of network, input data and feature perturbations to improve the consistency learning generalisation, where the feature perturbations consist of a new adversarial perturbation. Results on public benchmarks show that our approach achieves remarkable improvements over the previous SOTA methods in the field. Our code is available at https://github.com/yyliu01/PS-MT.

研究の動機と目的

• 半教師ありセマンティックセグメンテーションにおける一貫性学習の誤った予測という深刻な問題に取り組み、確認バイアスを引き起こし、一般化性能を低下させることを防ぐ。
• 新たな補助教師とより厳密な損失関数を用いて、教師モデルの予測精度を向上させ、未ラベル画像の偽ラベルの信頼性を高めること。
• 予測信頼度が高くなった状態で、ネットワーク、入力画像、および特徴レベルの多様な摺りつぶしを組み合わせることで、より効果的な一貫性正則化を実現すること。
• 複数の教師から得た知識を活用して、より強力で挑戦的なノイズを生成する、新たな敵対的特徴摺りつぶし（T-VAT）を開発すること。

提案手法

• 未ラベル画像における予測信頼度を向上させるために、補助教師を備えた二重教師Mean-Teacherアーキテクチャを導入する。
• Mean-Teacherにおける元の平均二乗誤差（MSE）損失を、より厳密な信頼度重み付き交差エントロピー（Conf-CE）損失に置き換えることで、学習収束を向上させ、予測誤差への過学習を低減する。
• 教師の予測から得たノイズを用いて学生の特徴を摺りつぶす、新たな特徴摺りつぶし手法T-VAT（Teacher-based Virtual Adversarial Training）を採用する。
• ネットワーク、入力画像、および特徴レベルの摺りつぶしを組み合わせたマルチモーダル摺りつぶし戦略を採用し、一貫性正則化を強化する。
• 教師の低信頼度予測に対処するため、CAMベースの偽ラベル損失（式9）を用い、学習信号の質を向上させる。
• Conf-CE、偽ラベル損失、および一貫性目的を統合した損失関数を用いて学生モデルを訓練し、一般化性能を最適化する。

実験結果

リサーチクエスチョン

• RQ1 Mean-Teacherモデルにおける教師の予測精度を向上させることで、半教師ありセマンティックセグメンテーションにおける一貫性学習が改善されるか？
• RQ2 MSE損失を信頼度重み付き交差エントロピー（Conf-CE）損失に置き換えることで、学習収束が向上し、誤った偽ラベルへの過学習が低減されるか？
• RQ3 ネットワーク、入力、および敵対的特徴摺りつぶしを組み合わせた戦略が、予測信頼度が高い状態でモデルの一般化性能を顕著に向上させるか？
• RQ4 複数の教師から学習したT-VATという敵対的摺りつぶしは、特徴空間への標準的なノイズ注入と比較して、一貫性学習にどのように寄与するか？
• RQ5 CAMベースの偽ラベル損失とConf-CE損失を統合することで、標準ベンチマークにおける性能向上がどの程度達成されるか？

主な発見

• PS-MTは、DeeplabV3+バックボーンにResNet101を用いた場合、Pascal VOC 2012で81.19%という新たな最先端のmIoUを達成し、以前の最先端手法を上回る。
• DeeplabV3+ ResNet101アーキテクチャにおいて、CAM損失とConf-CE損失を組み合わせた場合、ベースラインからmIoUが1.18%向上する。
• Conf-CE損失はMSEよりも顕著に大きな勾配の大きさを示しており、強い最適化ダイナミクスと良好な収束を示している。
• モデル予測後にCutMixを適用することで、mIoUが約3%向上し、データ拡張戦略における予測品質の重要性を示している。
• 提案された敵対的特徴摺りつぶしT-VATは、標準的な特徴摺りつぶしよりも効果的なノイズを生成することで、モデルのロバストネスと一般化性能を向上させる。
• 定性的な結果から、PS-MTは教師-学生のフィードバックを経て、教師のみのモデルや教師なしのベースラインよりもより正確なセグメンテーションマップを生成しており、教師-学生の精錬の有効性を確認している。