[論文レビュー] Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation

Zhedong Zheng, Yi Yang|arXiv (Cornell University)|Mar 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 29

ひとこと要約

本論文は、ドメイン適応的セマンティックセグメンテーションにおけるノイズの多い疑似ラベルの補正のための新しい不確実性推定手法を提案する。二重スティーム分類器からの予測分散を不確実性の代理指標としてモデル化し、それを損失関数に正則化項として組み込むことで、動的かつ自信の閾値を調整し、ノイズの影響を低減する。GTA5→Cityscapes、SYNTHIA→Cityscapes、Cityscapes→Oxford RobotCarのベンチマークで最先端の性能を達成する。

ABSTRACT

This paper focuses on the unsupervised domain adaptation of transferring the knowledge from the source domain to the target domain in the context of semantic segmentation. Existing approaches usually regard the pseudo label as the ground truth to fully exploit the unlabeled target-domain data. Yet the pseudo labels of the target-domain data are usually predicted by the model trained on the source domain. Thus, the generated labels inevitably contain the incorrect prediction due to the discrepancy between the training domain and the test domain, which could be transferred to the final adapted model and largely compromises the training process. To overcome the problem, this paper proposes to explicitly estimate the prediction uncertainty during training to rectify the pseudo label learning for unsupervised semantic segmentation adaptation. Given the input image, the model outputs the semantic segmentation prediction as well as the uncertainty of the prediction. Specifically, we model the uncertainty via the prediction variance and involve the uncertainty into the optimization objective. To verify the effectiveness of the proposed method, we evaluate the proposed method on two prevalent synthetic-to-real semantic segmentation benchmarks, i.e., GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, as well as one cross-city benchmark, i.e., Cityscapes -> Oxford RobotCar. We demonstrate through extensive experiments that the proposed approach (1) dynamically sets different confidence thresholds according to the prediction variance, (2) rectifies the learning from noisy pseudo labels, and (3) achieves significant improvements over the conventional pseudo label learning and yields competitive performance on all three benchmarks.

研究の動機と目的

• セマンティックセグメンテーションの教師なしドメイン適応におけるノイズの多い疑似ラベルの問題に対処すること。
• トレーニング中に予測不確実性を推定することで、モデルの汎化性能を向上させること。
• 誤った疑似ラベルがモデル最適化に与える悪影響を低減すること。
• 固定閾値ではなく、不確実性に基づいて自信の閾値を動的に設定する手法を開発すること。
• 追加パラメータを追加せずにドメイン適応ベンチマークでより良い性能を達成すること。

提案手法

• 予測分散を不確実性の代理指標として用いるために、主分類器と補助分類器の二重スティーム構造を採用する。
• 主分類器と補助分類器の出力間のKLダイバージェンスを用いて予測分散を計算する。
• 不確実性を最適化目的関数に正則化項として組み込む。
• 予測分散に基づいて動的自信閾値を適用し、低信頼度・高不確実性の予測をフィルタリングする。
• 単一の推論パスからの分散を活用することで、複数の順方向パスを回避する。
• 学習可能な重みを用いて両分類器の予測を重み付け統合し、最終出力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 高信頼度スコアであっても、予測分散は正しいと誤った疑似ラベルを効果的に区別できるか？
• RQ2 固定閾値と比較して、不確実性に基づく閾値設定はノイズの多い疑似ラベルをどのように処理するか？
• RQ3 不確実性推定は、多様なドメインシフトのシナリオにおいてドメイン適応性能を向上させられるか？
• RQ4 予測不確実性を捉える能力において、本手法の不確実性推定はモンテカルロドロップアウトと比較してどうか？
• RQ5 追加パラメータを追加せずに、不確実性正則化はモデルの耐障害性を向上させられるか？

主な発見

• 正しい高信頼度ラベルと誤った高信頼度ラベルの間の不確実性ギャップは0.1357に達し、ドロップアウト率0.9のMC-Dropoutを上回った。
• 正しいラベルに割り当てられた高信頼度ラベルの平均分散（0.9901）は、誤ったラベル（0.9332）よりも顕著に高いことが確認され、分散が信頼できる不確実性指標であることが裏付けられた。
• 主分類器と補助分類器の予測を組み合わせた場合、主分類器のみを使用する場合（49.3% mIoU）と比較して、mIoUが約1.0%向上した（49.3% mIoU）。
• 距離関数の選択にかかわらずモデルは頑健であり、KLダイバージェンスがMSEやスワップ予測よりもわずかに優れた結果をもたらした。
• 不確実性マップは、誤った予測が集中する境界領域（例：物体境界）などの曖昧な領域を明確に可視化しており、本手法の不確実性検出能力を確認した。
• 追加パラメータなしで、GTA5→Cityscapes、SYNTHIA→Cityscapes、Cityscapes→Oxford RobotCarのすべてのベンチマークで競争力のある性能を達成した。