[論文レビュー] Unsupervised Domain Generalization by Learning a Bridge Across Domains

Sivan Harary, Eli Schwartz+12 more|arXiv (Cornell University)|Dec 4, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、学習可能なドメイン間ブリッジ（BrAD）を用いた教師なしドメイン一般化（UDG）を提案する。BrADは補助的なエッジ正則化視覚ドメインとして機能し、ラベルなしの多様なソースドメインとターゲットドメイン間で自己教師付きコントラスト学習による特徴の整合性を実現する。画像からBrADへのマッピングとコントラスト表現モデルを同時に学習することで、ソースドメインのラベルを一切使用せず、UDGで最大14%の精度向上、FUDAで13.3%の向上を達成し、未観測ドメインや未学習クラスへの一般化が可能となる。

ABSTRACT

The ability to generalize learned representations across significantly different visual domains, such as between real photos, clipart, paintings, and sketches, is a fundamental capacity of the human visual system. In this paper, different from most cross-domain works that utilize some (or full) source domain supervision, we approach a relatively new and very practical Unsupervised Domain Generalization (UDG) setup of having no training supervision in neither source nor target domains. Our approach is based on self-supervised learning of a Bridge Across Domains (BrAD) - an auxiliary bridge domain accompanied by a set of semantics preserving visual (image-to-image) mappings to BrAD from each of the training domains. The BrAD and mappings to it are learned jointly (end-to-end) with a contrastive self-supervised representation model that semantically aligns each of the domains to its BrAD-projection, and hence implicitly drives all the domains (seen or unseen) to semantically align to each other. In this work, we show how using an edge-regularized BrAD our approach achieves significant gains across multiple benchmarks and a range of tasks, including UDG, Few-shot UDA, and unsupervised generalization across multi-domain datasets (including generalization to unseen domains and classes).

研究の動機と目的

• ソースドメインやターゲットドメインにラベルデータが存在しない現実世界のシナリオにおけるドメイン一般化の課題に対処すること。
• 追加のファインチューニングや監視なしに、未観測ドメインや新規クラスへの一般化を可能にすること。
• 学習可能なブリッジドメインを用いて、自己教師付きフレームワークにより多様な視覚ドメイン間で代表的特徴を暗黙的に整合化すること。
• 事前学習モデルやドメイン固有の監視に依存を減らしつつ、ドメインシフトに対して強靭性を維持すること。

提案手法

• すべてのソースドメインから画像変換により容易にマッピング可能な、学習可能なドメイン間ブリッジ（BrAD）を補助視覚ドメインとして導入する。
• エッジ正則化付きBrADを採用し、HEDベースのネットワークまたは学習可能なエッジヘッドを用いて、意味的構造を保持するとともにノイズを低減するようにブリッジドメインを学習する。
• ドメイン固有のマッピングとコントラスト自己教師付き表現モデルを同時に学習し、ドメイン間で特徴レベルの意味的整合性を強制する。
• コントラスト損失（L_contrast）を適用し、実画像の特徴とそのBrADへの投影特徴を一致させる。また、正則化損失（L_Ω）を用いて、ドメイン間でエッジマップの一貫性を促進する。
• 共有バックボーン重みを有する二重ブランチエンコーダーを用い、ドメイン不変の表現を保証する。BrADは共有された意味的アンカーとして機能する。
• 推論時にBrADマッピングに依存せず、共有され一致した特徴空間に依存することで、未観測ドメインや未学習クラスへのゼロショット転送が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのソースドメインやターゲットドメインにおいて、自己教師付きモデルが強力なドメイン一般化を達成できるか？
• RQ2 学習可能なエッジ正則化ブリッジドメインが、実画像、スケッチ、絵画など多様な視覚ドメイン間で代表的特徴を効果的に整合化できるか？
• RQ3 提案されたBrADフレームワークが、ファインチューニングなしに未観測ドメインや新規クラスに一般化できるか？
• RQ4 BrADの選択（例：Canny、HED、学習可能）がUDGおよびFUDAタスクのパフォーマンスに与える影響は？
• RQ5 HED用のBSDS500重みなど、事前学習モデルの欠如に対して、この手法はどの程度頑健か？

主な発見

• 提案手法は、DomainNetベンチマークにおいて、従来のSOTAより14%の精度向上を達成した。
• FUDAベンチマークでは、従来のSOTAより13.3%の性能向上を示し、強力な少サンプル一般化能力を示した。
• BSDS500の事前学習なしでも、性能に±1.2%以内の変動しか示さず、事前学習依存性に対して頑健であることを実証した。
• 定性的比較により、学習可能なBrADはCannyやHEDのエッジマップを上回り、微細な内部ディテールを保持しながらノイズを低減していることが示された。
• 複数のマルチドメインベンチマークで、追加のファインチューニングなしに未観測ドメインや新規クラスへの一般化が効果的に可能であることが検証された。
• アブレーションスタディにより、BrAD学習、エッジ正則化、コントラスト整合性の各要素が性能向上に顕著に寄与していることが確認された。