[論文レビュー] Context-Aware Domain Adaptation in Semantic Segmentation

Jinyu Yang, Weizhi An+3 more|arXiv (Cornell University)|Mar 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 4

ひとこと要約

本論文は、セマンティックセグメンテーションにおける教師なしドメイン適応のための新しいクロスアテンションメカニズムを提案し、ソース（合成）ドメインとターゲット（実画像）ドメイン間の文脈特徴を適応させるために、空間的文脈を扱うCD-SAMとチャネル単位の意味的依存関係を扱うCD-CAMの2つのクロスドメインアテンションモジュールを導入する。本手法は、GTA5-to-CityscapesおよびSYNTHIA-to-Cityscapesベンチマークで最先端の性能を達成し、先行手法と比較してmIoUを最大1.8%向上させる。

ABSTRACT

In this paper, we consider the problem of unsupervised domain adaptation in the semantic segmentation. There are two primary issues in this field, i.e., what and how to transfer domain knowledge across two domains. Existing methods mainly focus on adapting domain-invariant features (what to transfer) through adversarial learning (how to transfer). Context dependency is essential for semantic segmentation, however, its transferability is still not well understood. Furthermore, how to transfer contextual information across two domains remains unexplored. Motivated by this, we propose a cross-attention mechanism based on self-attention to capture context dependencies between two domains and adapt transferable context. To achieve this goal, we design two cross-domain attention modules to adapt context dependencies from both spatial and channel views. Specifically, the spatial attention module captures local feature dependencies between each position in the source and target image. The channel attention module models semantic dependencies between each pair of cross-domain channel maps. To adapt context dependencies, we further selectively aggregate the context information from two domains. The superiority of our method over existing state-of-the-art methods is empirically proved on "GTA5 to Cityscapes" and "SYNTHIA to Cityscapes".

研究の動機と目的

• 教師なしドメイン適応におけるセマンティックセグメンテーションにおいて、クロスドメインの文脈的依存関係を明示的にモデル化する欠如を是正すること。
• 合成画像ドメインと実画像ドメイン間で、空間的および意味的文脈情報の転送可能性を調査すること。
• ソースドメインとターゲットドメイン間の共有文脈を明示的に学習・統合することで、ドメイン適応の性能を向上させること。
• ドメイン不変特徴学習を越えて、両ドメインからの構造的文脈を統合する手法を開発すること。

提案手法

• 空間的文脈とチャネル単位の意味的文脈の両方を扱う2つの双方向モジュールを備えたクロスアテンションメカニズムを導入：CD-SAMは空間的文脈を、CD-CAMはチャネル単位の意味的文脈を処理する。
• CD-SAMは、ソース画像の各空間的位置とターゲット画像の全位置間でアテンション重みを計算し、ドメイン間での特徴集約を可能にする。
• CD-CAMは、ソースとターゲットの特徴における対応するチャネルマップ間のアテンションを計算することで、クロスドメインのチャネル依存関係をモデル化する。
• 特徴抽出器（ResNet101またはVGG16）を備えた二重ブランチネットワークを採用し、その後にクロスドメインアテンションモジュールとセグメンテーションヘッドを配置する。
• ドメイン不変な出力予測を強制するために3つの識別器を用い、特徴および予測の整合性を向上させる。
• クロスドメイン文脈の寄与度を調整するための学習可能な重み係数（λs, λt, ξs, ξt）を適用し、最適値は1であると特定された。

実験結果

リサーチクエスチョン

• RQ1 クロスドメイン文脈的依存関係の明示的モデリングは、セマンティックセグメンテーションにおける教師なしドメイン適応を改善できるか？
• RQ2 空間的およびチャネル単位の文脈的依存関係は、セマンティックセグメンテーションにおけるドメインシフトを低減するためにどのように寄与するか？
• RQ3 空間的アテンションとチャネルアテンションの相対的寄与度は、ドメイン間の文脈特徴適応においてどのように異なるか？
• RQ4 クロスドメイン文脈統合を制御するハイパーパrameterに、本手法の性能はどれほど感受的か？

主な発見

• GTA5-to-Cityscapesベンチマークでは、VGG16を用いた場合44.9%のmIoU、ResNet101を用いた場合49.2%のmIoUを達成し、先行する最先端手法を上回る性能を示した。
• より挑戦的なSYNTHIA-to-Cityscapesベンチマークでは、ResNet101を用いた場合52.4%のmIoUを達成し、CD-CAMを用いたベースラインと比較して0.6%向上、CD-SAMを用いた場合0.4%向上した。
• アブレーションスタディにより、CD-SAMとCD-CAMの両方が顕著に寄与しており、併用することで最大の性能向上が得られた。
• 可視化結果から、アテンションマップが正しくドメイン間で特徴を整合していることが確認された。例えば、ソースにおける建物はターゲットの建物と一致し、ターゲットにおける植生はソースの植生と一致している。
• 感度解析により、λs = λt = ξs = ξt = 1に設定した場合が最適な性能を示し、極端な値に設定すると特徴品質が劣化することが判明した。
• 本手法は、異なるバックボーンネットワークやドメインシフトの度合いに対しても一貫した向上を示しており、文脈に配慮した適応の有効性を裏付けた。