[論文レビュー] Source-Free Domain Adaptation for Semantic Segmentation

Yuang Liu, Wei Zhang+1 more|arXiv (Cornell University)|Mar 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 13

ひとこと要約

本論文は、元のソースデータにアクセスできない状況下で、事前学習済みソースモデルの知識をラベルなしのターゲットドメインに転送する、ソースフリー領域適応（SFDA）フレームワークを提案する。この手法は、ソースに似た偽のサンプルを生成するための二重アテンション蒸留を備えたジェネレータと、疑似ラベル付きパッチを活用するドメイン内パッチレベル自己教師信号モジュールを用い、都市間および合成から実ドメインへのベンチマークで最先端のソース駆動型UDA手法と同等の性能を達成する。

ABSTRACT

Unsupervised Domain Adaptation (UDA) can tackle the challenge that convolutional neural network(CNN)-based approaches for semantic segmentation heavily rely on the pixel-level annotated data, which is labor-intensive. However, existing UDA approaches in this regard inevitably require the full access to source datasets to reduce the gap between the source and target domains during model adaptation, which are impractical in the real scenarios where the source datasets are private, and thus cannot be released along with the well-trained source models. To cope with this issue, we propose a source-free domain adaptation framework for semantic segmentation, namely SFDA, in which only a well-trained source model and an unlabeled target domain dataset are available for adaptation. SFDA not only enables to recover and preserve the source domain knowledge from the source model via knowledge transfer during model adaptation, but also distills valuable information from the target domain for self-supervised learning. The pixel- and patch-level optimization objectives tailored for semantic segmentation are seamlessly integrated in the framework. The extensive experimental results on numerous benchmark datasets highlight the effectiveness of our framework against the existing UDA approaches relying on source data.

研究の動機と目的

• プライバシーや商業的制約により、実用的制限が生じるため、セマンティックセグメンテーションにおける教師なし領域適応（UDA）の実装が困難になる問題に対処する。
• 適応段階でソースデータにアクセスできない状況下でも、ソースドメインの知識を保持する課題を克服する。
• 事前学習済みソースモデルとラベルなしターゲットドメインデータセットのみを用いて、効果的な適応を可能にする。
• ピクセルレベルのセマンティック整合性を維持するとともに、ターゲットドメインからの自己教師信号を活用するフレームワークを設計する。
• セマンティックセグメンテーションにおけるソースフリーとソース駆動型UDA手法の性能差を埋める。

提案手法

• データフリー知識蒸留を用いた知識転送を実現する二段階フレームワークを提案：ジェネレータを用いて偽のソースに似たサンプルを生成する。
• 合成サンプルにおける文脈的・意味的関係を保持するための二重アテンション蒸留（DAD）機構を導入し、より良いピクセルレベルの知識転送を実現する。
• ソースモデルの予測と合成サンプルの予測の間の平均絶対誤差（MAE）を最小化するようにジェネレータを訓練し、分布の整合性を確保する。
• ターゲットドメイン内で高信頼度で正しくセグメンテーションされたパッチを特定・活用するドメイン内パッチレベル自己教師信号モジュール（IPSM）を設計する。
• 敵対的損失、MAE損失、DAD損失、IPSM損失を組み合わせてターゲットモデルを最適化し、ハイパーパrameter α と β を用いて重みを動的に調整する。
• ソースモデルとターゲットモデルの中間層間で特徴量レベルの蒸留を実施し、適応段階での特徴量レベルの一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 元のソースデータにアクセスできない状況下でも、ソースドメインの知識を効果的に回復・転送できるか？
• RQ2 二重アテンション蒸留は、ピクセルレベルのセマンティックセグメンテーションタスクにおける合成サンプルの品質をどのように向上させるか？
• RQ3 真のアノテーションが存在しない状況下で、ターゲットドメインからのパッチレベル疑似ラベルが、信頼できる自己教師信号としてどの程度有効に機能するか？
• RQ4 提案されたソースフリーフレームワークは、ドメイン間セマンティックセグメンテーションにおいて、ソース駆動型UDA手法と同等の性能を達成できるか？
• RQ5 ハイパーパrameter α と β は、再構成忠実度と特徴量レベルの蒸留のバランスにどのように影響を与えるか？

主な発見

• GTA5 → Cityscapes ベンチマークで、SFDAは平均IoU 48.33%を達成し、ソースのみベースライン（45.87%）を上回り、ソースフリー条件下で最先端のソース駆動型UDA手法と同等の性能を示した。
• 都市間適応（Cityscapes → Rio）において、SFDAは49.03%のmIoUを達成し、同条件下での最良のソース駆動型ベースライン（48.74%）を上回った。
• アブレーションスタディの結果、DADとBNS損失を併用することで、GTA5 → CityscapesでBNS単体使用時と比較して最大8.5%の性能向上が達成された。
• IPSMモジュールは顕著な性能向上をもたらした：このモジュールを削除すると、全データセットでmIoUが1.5–2.0%低下し、信頼性の高いターゲット疑似ラベルを活用する価値が裏付けられた。
• ハイパーパrameter分析から、α ≈ 1.0 と β ≈ 0.5 が再構成と蒸留のバランスを最適に保つことが判明。重みが高すぎたり低すぎたりすると性能が低下した。
• 可視化結果から、DADによって生成されたサンプルは意味的構造と文脈を保持しており、BNS損失によりソースドメインへの分布的忠実度が確保されていることが確認された。