[論文レビュー] Exploiting Negative Learning for Implicit Pseudo Label Rectification in Source-Free Domain Adaptive Semantic Segmentation

Xin Luo, Wei Chen+4 more|arXiv (Cornell University)|Jun 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 6

ひとこと要約

本稿では、元モデルの内部構造にアクセスせずに、信頼度正則化とノイズに強い学習を用いて誤りのある疑似ラベルを是正する、セマンティックセグメンテーションのためのソースフリー領域適応手法PR-SFDAを提案する。最大二乗確率正則化と共同的ポジティブ・ネガティブ学習を組み合わせることで、GTA5→Cityscapesで49.0 mIoUを達成し、元モデルの仕様やクリーンな疑似ラベルに依存せずに最先端の性能を達成する。

ABSTRACT

It is desirable to transfer the knowledge stored in a well-trained source model onto non-annotated target domain in the absence of source data. However, state-of-the-art methods for source free domain adaptation (SFDA) are subject to strict limits: 1) access to internal specifications of source models is a must; and 2) pseudo labels should be clean during self-training, making critical tasks relying on semantic segmentation unreliable. Aiming at these pitfalls, this study develops a domain adaptive solution to semantic segmentation with pseudo label rectification (namely extit{PR-SFDA}), which operates in two phases: 1) extit{Confidence-regularized unsupervised learning}: Maximum squares loss applies to regularize the target model to ensure the confidence in prediction; and 2) extit{Noise-aware pseudo label learning}: Negative learning enables tolerance to noisy pseudo labels in training, meanwhile positive learning achieves fast convergence. Extensive experiments have been performed on domain adaptive semantic segmentation benchmark, extit{GTA5 $ o$ Cityscapes}. Overall, extit{PR-SFDA} achieves a performance of 49.0 mIoU, which is very close to that of the state-of-the-art counterparts. Note that the latter demand accesses to the source model's internal specifications, whereas the extit{PR-SFDA} solution needs none as a sharp contrast.

研究の動機と目的

• 元モデルの内部構造へのアクセスやクリーンな疑似ラベルの仮定を必要とするソースフリー領域適応（SFDA）手法の限界を是正すること。
• 元データおよび元モデルの仕様が利用できない状況でも効果的に動作する、モデルに依存しないSFDA手法の開発。
• 共同学習を用いて誤りのある疑似ラベルを検出し是正することで、ターゲットドメインにおける自己学習の性能を向上させること。
• 信頼度正則化とソースデータにおけるスタイル増強を用いて、モデルのロバストネスを向上させること。
• 最小限の事前知識で、ドメインに依存しないセマンティックセグメンテーションの高い性能を達成すること。

提案手法

• ターゲットドメインの画像における予測の確実性を向上させるために、最大二乗予測確率（MSL）を信頼度正則化として適用する。
• 誤りのある疑似ラベルに耐性を持つように、ポジティブおよびネガティブラベルを同時に最適化するノイズに強い疑似ラベル学習を導入する。
• ドメインの多様性を高め、ドメインシフトを軽減するために、ソースデータにスタイル増強（例：色の摂動）を適用する。
• ハイパーパrameter λnl によって制御される、高速収束を促進するポジティブ学習とノイズ耐性を高めるネガティブ学習を組み合わせた重み付き損失を採用する。
• 非アノテートターゲットデータにおける最適化をガイドするため、最小エントロピー（ENT）とMSLによる不確実性正則化を用いる。
• 2段階のプロセスで動作する：(1) 信頼度正則化付きの教師なし学習、(2) 反復的自己学習を伴うノイズに強い疑似ラベル学習。

実験結果

リサーチクエスチョン

• RQ1 元モデルの内部構造へのアクセスがなくても、ソースフリー領域適応手法がセマンティックセグメンテーションで高い性能を達成できるか？
• RQ2 真のアノテーションが利用できない状況で、自己学習の過程で疑似ラベルのノイズを効果的に検出し是正できるか？
• RQ3 信頼度正則化がターゲットドメインの画像におけるモデルのロバストネス向上に果たす役割は何か？
• RQ4 ポジティブおよびネガティブラベルにおける共同学習は、単純な自己学習と比較して一般化性能をどのように向上させるか？
• RQ5 ネガティブ学習の重み λnl などのハイパーパrameterに対して、提案手法はどれほど感度を示すか？

主な発見

• PR-SFDAはGTA5→Cityscapesベンチマークで49.0 mIoUを達成し、元モデルの仕様が不要な状態で最先端の性能を再現した。
• ソースデータにスタイル増強を適用することで、非増強学習（37.9 → 40.3 mIoU）と比較してmIoUが6.3ポイント向上した。
• MSLによる信頼度正則化を適用した場合、増強済みソースデータのみで学習したベースラインモデルと比較して、mIoUが13.2%向上した。
• ネガティブ学習（NLPL）を用いたノイズに強い疑似ラベル学習は、単純な自己学習を上回り、疑似ラベル是正の有効性を示した。
• ハイパーパrameter λnl に対して本手法はロバストであり、異なる設定でもmIoUがわずかに変動（48.5～49.0）するにとどまり、感度が低いことが示された。
• アブレーションスタディにより、信頼度正則化と疑似ラベル是正の両方が最適な性能を達成するために不可欠であることが確認された。