[論文レビュー] MetaCorrection: Domain-aware Meta Loss Correction for Unsupervised Domain Adaptation in Semantic Segmentation

Xiaoqing Guo, Chen Yang+2 more|arXiv (Cornell University)|Mar 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 8

ひとこと要約

本稿では、ドメインに適応したメタラーニングフレームワークであるMetaCorrectionを提案する。この手法は、ドメイン不変のソースデータ上でメタ最適化を用いてノイズの多い疑似ラベルのノイズ遷移行列（NTM）を学習することで、セマンティックセグメンテーションにおける自己教師付きドメイン適応（UDA）におけるノイズの多い疑似ラベルを是正する。層別NTMを適用することで一般化性能と深層適応性を向上させ、3つのベンチマークで最先端の性能を達成し、従来の自己学習手法に比べてmIoUが最大2.9%向上した。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to transfer the knowledge from the labeled source domain to the unlabeled target domain. Existing self-training based UDA approaches assign pseudo labels for target data and treat them as ground truth labels to fully leverage unlabeled target data for model adaptation. However, the generated pseudo labels from the model optimized on the source domain inevitably contain noise due to the domain gap. To tackle this issue, we advance a MetaCorrection framework, where a Domain-aware Meta-learning strategy is devised to benefit Loss Correction (DMLC) for UDA semantic segmentation. In particular, we model the noise distribution of pseudo labels in target domain by introducing a noise transition matrix (NTM) and construct meta data set with domain-invariant source data to guide the estimation of NTM. Through the risk minimization on the meta data set, the optimized NTM thus can correct the noisy issues in pseudo labels and enhance the generalization ability of the model on the target data. Considering the capacity gap between shallow and deep features, we further employ the proposed DMLC strategy to provide matched and compatible supervision signals for different level features, thereby ensuring deep adaptation. Extensive experimental results highlight the effectiveness of our method against existing state-of-the-art methods on three benchmarks.

研究の動機と目的

• 自己学習に基づく自己教師付きドメイン適応（UDA）におけるセマンティックセグメンテーションのノイズの多い疑似ラベルの課題に対処すること。
• 有用な情報を捨てる手動のしきい値設定や信頼度ベースのフィルタリングの限界を克服すること。
• データ駆動型のノイズ遷移行列（NTM）を学習することで、教師信号の是正を可能にし、モデルの一般化性能を向上させること。
• 学習可能なNTMを用いて、階層的な監督信号を提供することで、深層的適応を確保すること。
• メタラーニング戦略を用いて、多様なノイズタイプとドメインシフトに対して頑健な適応を可能にすること。

提案手法

• ドメイン不変のソースデータをメタデータセットとして用い、ターゲットの疑似ラベルのノイズ遷移行列（NTM）を推定するドメインに適応したメタラーニング戦略を導入する。
• 学習可能なNTMを用いて、ターゲットの疑似ラベルにおけるノイズ分布をモデル化し、クラス間の誤分類確率を捉える。
• メタデータセット上でリスク最小化を最適化することでNTMを最適化し、ターゲットドメインにおけるクリーンラベル分布を学習可能にする。
• UDAセグメンテーションモデルとNTMの間で交互最適化を適用し、疑似ラベルの是正と特徴学習を同時に向上させる。
• 層別NTMを導入することで、ネットワークの複数の層にわたるフレームワークを拡張し、特徴階層全体にわたる整合性のある監督信号を保証する。
• ドメイン予測子を用いて、ドメイン不変性が高く、適応的なメタ最適化の安定性を向上させるソースサンプルを選択する。

実験結果

リサーチクエスチョン

• RQ1 手動のしきい値に依存せずに、自己学習ベースのUDAにおけるセマンティックセグメンテーションのノイズの多い疑似ラベルを効果的に是正する方法は何か？
• RQ2 データ駆動型でメタラーニングされたノイズ遷移行列は、ドメインシフト下でもモデルの一般化性能を向上させられるか？
• RQ3 提案されたドメインに適応したメタラーニング戦略は、ターゲット疑似ラベルにおけるノイズ分布推定をどのように向上させるか？
• RQ4 層別NTMは、UDAにおける深層特徴適応をどの程度向上させられるか？
• RQ5 MetaCorrectionフレームワークは、疑似ラベルにおける多様なノイズタイプに対してどの程度頑健か？

主な発見

• MetaCorrectionは3つの標準的なUDAベンチマークで最先端の性能を達成し、従来の自己学習手法に比べて最大2.9%のmIoU向上を達成した。
• ノイズの多い疑似ラベルに適用した場合、AdaptSegNetのmIoUは42.4%から47.3%に向上し、ノイズに対して強い頑健性を示した。
• t-SNEの可視化結果から、MetaCorrectionの特徴表現が、ラベル付きターゲットデータで微調整されたオラクルモデルに最も近いことが確認され、効果的なドメイン整合が実現していることが示された。
• 学習されたNTMの可視化から、層ごとに明確なノイズ遷移パターンが観察され、浅層と深層の特徴が異なるノイズ分布を持つことが確認された。
• 本フレームワークは、曖昧で少数クラス（例：「交通標識」「自転車の乗車者」「自転車」）のセグメンテーションを顕著に改善し、ノイズラベリングに脆弱なクラスの性能向上を実現した。
• アブレーションスタディの結果、正確なNTM推定と優れた性能を達成するためには、ドメインに適応したメタラーニング戦略が不可欠であることが確認された。