[논문 리뷰] Unsupervised Domain Generalization by Learning a Bridge Across Domains

Sivan Harary, Eli Schwartz외 12명|arXiv (Cornell University)|2021. 12. 04.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 라벨이 없는 다양한 소스 및 타겟 도메인 간에 특징을 정렬할 수 있도록 도와주는 학습 가능한 도메인 간 다리(BrAD)를 통한 비지도 도메인 일반화(UDG)를 제안한다. 이미지에서 BrAD로의 매핑과 대비 표현 모델을 함께 학습함으로써, 소스 도메인의 레이블이 전혀 필요 없이도 최신 기술 수준(SOTA) 성능을 달성하며, 이는 UDG에서 최대 14%의 정확도 향상과 FUDA에서 13.3%의 향상을 이룬다. 이는 새로운 도메인과 새로운 클래스로의 일반화를 가능하게 한다.

ABSTRACT

The ability to generalize learned representations across significantly different visual domains, such as between real photos, clipart, paintings, and sketches, is a fundamental capacity of the human visual system. In this paper, different from most cross-domain works that utilize some (or full) source domain supervision, we approach a relatively new and very practical Unsupervised Domain Generalization (UDG) setup of having no training supervision in neither source nor target domains. Our approach is based on self-supervised learning of a Bridge Across Domains (BrAD) - an auxiliary bridge domain accompanied by a set of semantics preserving visual (image-to-image) mappings to BrAD from each of the training domains. The BrAD and mappings to it are learned jointly (end-to-end) with a contrastive self-supervised representation model that semantically aligns each of the domains to its BrAD-projection, and hence implicitly drives all the domains (seen or unseen) to semantically align to each other. In this work, we show how using an edge-regularized BrAD our approach achieves significant gains across multiple benchmarks and a range of tasks, including UDG, Few-shot UDA, and unsupervised generalization across multi-domain datasets (including generalization to unseen domains and classes).

연구 동기 및 목표

• 소스 도메인 또는 타겟 도메인에서 레이블 데이터가 전혀 제공되지 않는 실제 환경에서의 도메인 일반화 과제를 해결하기 위해.
• 추가적인 미세조정이나 감독 없이도 새로운 도메인과 새로운 클래스로의 일반화를 가능하게 하기 위해.
• 학습 가능한 다리 도메인을 사용하여 다양한 시각적 도메인 간에 암묵적으로 표현을 정렬하는 자기지도 프레임워크를 개발하기 위해.
• 사전 훈련된 모델이나 도메인 특화 감독에 의존도를 줄이면서도 도메인 이동에 대해 강건성을 유지하기 위해.

제안 방법

• 모든 소스 도메인으로부터 쉽게 매핑 가능한 이미지 간 변환을 통해 설계된 보조 시각적 도메인인 학습 가능한 도메인 간 다리(BrAD)를 도입한다.
• 경계 정규화된 BrAD를 사용하여, 브릿지 도메인이 의미적 구조를 유지하면서 노이즈를 억제하도록 학습되도록 하며, HED 기반 네트워크 또는 학습된 경계 헤드를 활용한다.
• BrAD로의 도메인별 매핑과 함께 대비 자기지도 표현 모델을 함께 학습하여 도메인 간 특징 수준의 의미적 정렬을 강제한다.
• 실제 이미지의 특징과 BrAD 투영된 특징을 정렬하는 대비 손실(L_contrast)과 도메인 간 경계 맵의 일관성을 유도하는 정규화 손실(L_Ω)을 적용한다.
• 공유된 백본 가중치를 가진 이중 분기 인코더를 사용하여 도메인 불변 표현을 보장하고, BrAD를 공유된 의미적 기준점으로 활용한다.
• BrAD 매핑 없이도 공유된 정렬된 특징 공간에 의존함으로써 추론을 가능하게 하여, 새로운 도메인과 클래스로의 제로샷 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기지도 모델이 소스 또는 타겟 도메인에서 어떤 레이블 데이터도 없이 강력한 도메인 일반화를 달성할 수 있는가?
• RQ2 학습 가능한, 경계 정규화된 브릿지 도메인은 실사 이미지, 스케치, 회화와 같은 다양한 시각적 도메인 간에 표현을 효과적으로 정렬할 수 있는가?
• RQ3 제안된 BrAD 프레임워크는 추가적인 미세조정 없이도 새로운 도메인과 새로운 클래스로 일반화되는가?
• RQ4 BrAD의 선택(예: Canny, HED, 학습된)이 UDG 및 FUDA 과제에서 성능에 어떤 영향을 미치는가?
• RQ5 사전 훈련된 모델(예: HED용 BSDS500 가중치)이 없을 경우 이 방법의 성능은 어느 정도 유지되는가?

주요 결과

• 제안된 방법은 DomainNet 벤치마크에서 이전 SOTA 대비 비지도 도메인 일반화(UDG)에서 최대 14%의 정확도 향상을 달성한다.
• FUDA 벤치마크에서 이전 SOTA 대비 성능이 13.3% 향상되어, 강력한 소수의 예시 일반화 능력을 입증한다.
• BSDS500 사전 훈련이 전혀 없이도 성능 변화가 ±1.2% 이내로 거의 동일하게 유지되어, 사전 훈련 의존성에 대해 강건함을 입증한다.
• qualitative 비교에서 학습된 BrAD는 노이즈 억제를 잘 하면서도 세부 내부 구조를 유지함으로써 Canny 및 HED 경계 맵을 모두 초월한다.
• 다양한 다중 도메인 벤치마크를 통해 추가적인 미세조정 없이도 새로운 도메인과 새로운 클래스로 효과적으로 일반화됨을 검증하였다.
• 제거 실험 결과, BrAD 학습, 경계 정규화, 대비 정렬 모두 성능 향상에 기여하는 중요한 구성 요소임을 확인하였다.