[論文レビュー] Unsupervised BatchNorm Adaptation (UBNA): A Domain Adaptation Method for Semantic Segmentation Without Using Source Domain Representations

Marvin Klingner, Jan-Aike Termöhlen+2 more|arXiv (Cornell University)|Nov 17, 2020

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、教師なしバッチ正規化適応（UBNA）を提案する。これは、ソースドメインのデータや表現を一切使用せず、あくまで事前学習済みモデルのパラメータのみを用いて、ターゲットドメインに事前学習済みモデルを適応させる、セマンティックセグメンテーションのための新しいドメイン適応手法である。指数的減衰モーメンタムを用いてソースドメインとターゲットドメインのバッチ正規化統計を混合することで、ゼロショットおよびフェイワショット設定において最先端の性能を達成し、未観測のターゲットドメインにおいてmIoUを最大7.3%向上させる。

ABSTRACT

In this paper we present a solution to the task of "unsupervised domain adaptation (UDA) of a given pre-trained semantic segmentation model without relying on any source domain representations". Previous UDA approaches for semantic segmentation either employed simultaneous training of the model in the source and target domains, or they relied on an additional network, replaying source domain knowledge to the model during adaptation. In contrast, we present our novel Unsupervised BatchNorm Adaptation (UBNA) method, which adapts a given pre-trained model to an unseen target domain without using -- beyond the existing model parameters from pre-training -- any source domain representations (neither data, nor networks) and which can also be applied in an online setting or using just a few unlabeled images from the target domain in a few-shot manner. Specifically, we partially adapt the normalization layer statistics to the target domain using an exponentially decaying momentum factor, thereby mixing the statistics from both domains. By evaluation on standard UDA benchmarks for semantic segmentation we show that this is superior to a model without adaptation and to baseline approaches using statistics from the target domain only. Compared to standard UDA approaches we report a trade-off between performance and usage of source domain representations.

研究の動機と目的

• プライバシー制約やアクセス制限により、ソースドメインのデータが入手不可能な状況下で、事前学習済みセマンティックセグメンテーションモデルを新たなターゲットドメインに適応する課題に対処すること。
• データ、ラベル、補助ネットワークを含む、ソースドメインの表現に依存しない方法を開発すること。
• ラベルなしターゲットデータのみが利用可能な実世界の展開環境において、オンラインおよびフェイワショット適応を可能にすること。
• 合成データから実データ、実データから実データへのドメインシフトを含む、多様なアーキテクチャとドメインシフトのシナリオにおいて汎用性を確保すること。
• バッチ正規化統計の混合を通じて、ソース知識を保持しつつターゲットドメイン統計に適応する、プラグアンドプレイなソリューションを提供すること。

提案手法

• 事前学習済みのソース統計と、ラベルなしターゲットデータから計算されたランニング統計を組み合わせることで、バッチ正規化（BN）レイヤーの統計をターゲットドメインに適応させるUBNAを提案する。
• 指数的減衰モーメンタム係数を用いて、ソースとターゲットドメインの統計を混合し、一部のソース知識を保持しつつターゲットドメインの分布に適応する。
• 微調整中にソースデータに依存しないデータ独立型のアプローチを採用し、推論時や適応時にもソースデータを必要としない。
• UBNA+という変種を導入し、層ごとの重み付けを用いたモーメンタム減衰を実装することで、より判別力の高い初期層に焦点を当てた適応を可能にし、性能を向上させる。
• ラベルなしターゲット画像の小規模バッチを段階的に更新することで、オンラインおよびフェイワショット適応を実現する。
• 適応中は他のすべてのモデルパラメータをそのままで保持し、最小限の計算コストと既存モデルとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインのデータや表現にアクセスできない状況下でも、事前学習済みセマンティックセグメンテーションモデルを新たなターゲットドメインに効果的に適応できるか？
• RQ2 指数的減衰モーメンタムを用いてソースとターゲットドメインのバッチ正規化統計を混合する手法は、単にターゲット統計を使用する場合と比較して、適応性能にどのように影響を与えるか？
• RQ3 提案手法は、合成データから実データ、実データから実データへのドメインシフトを含む、さまざまなネットワークアーキテクチャとドメインシフトシナリオに一般化可能か？
• RQ4 UBNAは、最小限のターゲットデータでオンラインまたはフェイワショット学習の文脈にどの程度適用可能か？
• RQ5 UBNA+における層ごとの重み付けは、多様なデータセットとアーキテクチャにおいて、標準UBNAよりも一貫した改善をもたらすか？

主な発見

• UBNAは、ソースドメインの表現を一切使用せず、GTA-5からCityscapesへの適応でmIoUを5.0%向上、SYNTHIAからCityscapesへの適応で4.6%～5.8%向上、CityscapesからKITTIへの適応で7.3%向上した。
• ResNet-34を用いた最良のモデルは、KITTIテストセットで60.3%のmIoUを達成し、非適応ベースラインの54.7%を著しく上回った。
• UBNA+は、すべてのアーキテクチャとデータセットで標準UBNAを上回り、特に実データから実データへのシナリオで最大の向上を示した。
• 同じハイパーパrameterを用いて6種類の異なるネットワークアーキテクチャ（VGGおよびResNetの変種）で汎用性を示し、強力な転送性を実証した。
• 逐次的適応の実験では、UBNAは逆転可能であることが示された。新しいドメインに適応した後、元のドメインの性能はわずかに3%低下したが、再び適応することで回復した。
• フェイワショットおよびオンライン設定の両方で有効であり、適応中に使用しなかったホールドアウトテストセットでも、性能向上が再現可能であった。