[論文レビュー] Unsupervised Adaptation of Semantic Segmentation Models without Source Data

Sujoy Paul, Ansh Khurana+1 more|arXiv (Cornell University)|Dec 4, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、元のソースデータにアクセスできない状況下で、信頼度フィルタリングを施した偽ラベル化と空間的・増幅変換における入力出力の一貫性を活用することで、自己学習フレームワークを提案する。この手法は、GTA5→Cityscapes、SYNTHIA→Cityscapes、SceneNet→SUNの3つの設定において、最先端の性能を達成し、ソースデータを用いない既存のアプローチを上回り、ソースデータを用いる最先端手法に近い結果を得た。

ABSTRACT

We consider the novel problem of unsupervised domain adaptation of source models, without access to the source data for semantic segmentation. Unsupervised domain adaptation aims to adapt a model learned on the labeled source data, to a new unlabeled target dataset. Existing methods assume that the source data is available along with the target data during adaptation. However, in practical scenarios, we may only have access to the source model and the unlabeled target data, but not the labeled source, due to reasons such as privacy, storage, etc. In this work, we propose a self-training approach to extract the knowledge from the source model. To compensate for the distribution shift from source to target, we first update only the normalization parameters of the network with the unlabeled target data. Then we employ confidence-filtered pseudo labeling and enforce consistencies against certain transformations. Despite being very simple and intuitive, our framework is able to achieve significant performance gains compared to directly applying the source model on the target data as reflected in our extensive experiments and ablation studies. In fact, the performance is just a few points away from the recent state-of-the-art methods which use source data for adaptation. We further demonstrate the generalisability of the proposed approach for fully test-time adaptation setting, where we do not need any target training data and adapt only during test-time.

研究の動機と目的

• プライバシー制約や保存制約のため、元のラベル付きソースデータにアクセスできない状況下で、セマンティックセグメンテーションモデルを新しいドメインに適応させる実用的課題に対処すること。
• ラベルなしのターゲットデータのみを用いて、事前学習済みソースモデルの知識を抽出する自己学習フレームワークの開発。
• ソースデータなしにおける一貫性正則化と偽ラベル化の有効性を、ドメイン適応の文脈で実証すること。
• 提案手法を完全なテスト時適応設定に拡張し、ターゲット学習データが一切不要な状況下で、1回の推論ごとに適応を可能にすること。

提案手法

• 分布シフトを軽減するために、ラベルなしのターゲットデータを用いて、ターゲットモデルの正規化（バッチノーム）パラメータのみを更新する。
• ソースモデルを用いてラベルなしのターゲット画像の偽ラベルを生成し、信頼度フィルタリングを適用して低信頼度予測を除外する。
• 入力出力の一貫性を強制するために、空間的変換（例：回転、反転）とデータ増幅（例：カットアウト、ぼかし）を入力画像に適用し、複数の視点間で一貫した予測を保つようにする。
• 制約付きの目的関数を最適化することでターゲットモデルを最適化する：偽ラベル損失を最小化するとともに、変換された入力から導かれる一貫性制約を満たす。
• トレーニングの多様性を高め、一般化性能を向上させるために、画像コラージュを用いたデータ増幅戦略を導入する。
• 各推論後にモデルをソース重みにリセットすることで、テスト時適応用にフレームワークを変更する。

実験結果

リサーチクエスチョン

• RQ1 元のソース学習データにアクセスできない状況下でも、セマンティックセグメンテーションモデルを新しいドメインに効果的に適応できるか？
• RQ2 ソースデータなしにおける一貫性に基づく自己学習と偽ラベル化は、ドメイン適応においてどの程度有効か？
• RQ3 提案手法は、学習段階でソースデータを用いる最先端手法と同等の性能を達成できるか？
• RQ4 一貫性に基づくアプローチは、ターゲット学習データが一切存在しない完全なテスト時適応設定にも一般化可能か？

主な発見

• GTA5→Cityscapesの設定で39.3 mIoUを達成し、既存のソースフリー手法を上回り、ソースデータを用いる最先端手法に数ポイント以内で迫った。
• SYNTHIA→Cityscapesの設定では33.2 mIoUを達成し、多様な屋外シーンへの強力な一般化性能を示した。
• 新規の屋内ドメインシフト（SceneNet→SUN）において27.6 mIoUを達成し、かつて未解決であったこの設定で新たに最先端の性能を確立した。
• 完全なテスト時適応設定では、GTA5→Cityscapesで39.3 mIoUを達成し、最近のTAA手法で提案された専用損失関数を上回った。
• アブレーションスタディの結果、事前学習モデルの微調整は、初期値から再学習を開始する手法に比べて性能が劣ることが判明し、新規初期化の利点を示した。
• 増幅前の元の画像に対して一貫性に基づく偽ラベル化を行うことで、増幅済み画像に対する偽ラベル化よりも高い性能が得られ、変換の順序の重要性を確認した。