[論文レビュー] Spatial Attention Pyramid Network for Unsupervised Domain Adaptation

Congcong Li, Dawei Du+5 more|arXiv (Cornell University)|Mar 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 7

ひとこと要約

本稿では、物体検出、インスタンスセグメンテーション、セマンティックセグメンテーションにおける教師なしドメイン適応のための空間的アテンションパラミッドネットワーク（SAPNet）を提案する。マルチスケール特徴マップをタスクガイドド空間的アテンション機構で統合することで、ドメイン間での判別性の高い特徴学習を向上させ、Cityscapes→FoggyCityscapesで3%のmAP向上を達成し、SOTAを更新する結果を得た。GTA5→Cityscapesでも強力な性能を示した。

ABSTRACT

Unsupervised domain adaptation is critical in various computer vision tasks, such as object detection, instance segmentation, and semantic segmentation, which aims to alleviate performance degradation caused by domain-shift. Most of previous methods rely on a single-mode distribution of source and target domains to align them with adversarial learning, leading to inferior results in various scenarios. To that end, in this paper, we design a new spatial attention pyramid network for unsupervised domain adaptation. Specifically, we first build the spatial pyramid representation to capture context information of objects at different scales. Guided by the task-specific information, we combine the dense global structure representation and local texture patterns at each spatial location effectively using the spatial attention mechanism. In this way, the network is enforced to focus on the discriminative regions with context information for domain adaption. We conduct extensive experiments on various challenging datasets for unsupervised domain adaptation on object detection, instance segmentation, and semantic segmentation, which demonstrates that our method performs favorably against the state-of-the-art methods by a large margin. Our source code is available at https://isrc.iscas.ac.cn/gitlab/research/domain-adaption.

研究の動機と目的

• 物体検出やセグメンテーションなどのコンピュータビジョンタスクにおけるドメインシフトを解決すること。ここでは、ソースドメインとターゲットドメインの間で分布の差が顕著に現れる。
• 従来の手法がグローバル分布の整合性に依存するか、マルチスケールのコンテキストや判別性の高い領域を十分に活用できないという限界を克服すること。
• アテンション機構を用いて、グローバルコンテキストとローカルテクスチャパターンを効果的に統合する統一フレームワークを設計し、より良いドメイン一般化を実現すること。
• Cityscapes→FoggyCityscapes、PASCAL VOC→Clipart、GTA5→Cityscapesといった、挑戦的なドメイン適応ベンチマークでの性能向上を図ること。

提案手法

• マルチスケール特徴マップを用いて空間的パラミッド表現を構築し、グローバルな画像レベルの情報とローカルな領域レベルの意味情報を両方捉える。
• 判別性の高い領域の関連性に基づいてスケール間の特徴を動的に統合する、タスク固有のガイド付き空間的アテンション機構を導入する。
• 空間的パラミッドにおける平均プーリングを用いてローカルテクスチャパターンを保持し、敵対的ドメイン整合のための特徴の判別性を向上させる。
• チャネル単位のアテンションを用いて、マルチレベル特徴を動的に重み付けし、類似しないドメインにおける表現学習を向上させる。
• 敵対的訓練を組み合わせた深層ネットワークに空間的アテンションパラミッドを統合し、ソースドメインとターゲットドメインの特徴を整合させる。
• 勾配反転とマルチロス最適化を活用して、ドメイン不変表現を精緻化するとともに、タスク固有の意味を保持する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール特徴を用いた空間的パラミッドは、物体検出およびセグメンテーションにおけるドメイン適応性能を向上させるか？
• RQ2 タスク固有のガイドが、教師なしドメイン適応の過程で判別性の高い領域にアテンションを集中させるのにどのように寄与するか？
• RQ3 空間的パラミッドの深さとプーリング戦略（平均プール vs. マックスプール）は、特徴表現の質にどのような影響を及えるか？
• RQ4 チャネル単位のアテンションは、顕著に異なるドメイン間の適応において性能を向上させるか？
• RQ5 提案手法は、スタイル変換や天候変化を含む多様なドメインシフトシナリオに一般化可能か？

主な発見

• SAPNetは、Cityscapes→FoggyCityscapesの物体検出ベンチマークで3%のmAP向上を達成し、従来のSOTA手法を著しく上回った。
• GTA5→Cityscapesのセマンティックセグメンテーションタスクでは、競争力ある精度を達成し、ドメインシフトに強い一般化性能を示した。
• アブレーションスタディの結果、空間的アテンションパラミッドを削除すると、最も挑戦的なPASCAL VOC→ClipartベンチマークでmAPが6%以上低下した。
• タスク固有のガイドにより、PASCAL VOC→ClipartでmAPが5.1%向上し、判別性の高い領域に注目する役割が明確に示された。
• 空間的パラミッドにおける平均プールはマックスプールよりも優れた性能を示し、PASCAL VOC→Clipartで4.7%のmAP向上を達成した。
• チャネル単位のアテンションは、類似性の低いドメイン（例：PASCAL VOC→Clipart）で1.6%のmAP向上をもたらしたが、類似性の高いドメインではほとんど向上が得られず、複雑な適応シナリオにおける価値が示された。