[논문 리뷰] Aggregation of Disentanglement: Reconsidering Domain Variations in Domain Generalization

Daoan Zhang, Mingkai Chen외 3명|arXiv (Cornell University)|2023. 02. 05.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 도메인 일반화의 새로운 프레임워크인 도메인 분리 네트워크(Domain Disentanglement Network, DDN)를 제안한다. DDN은 도메인 전용 분류기와 대비 학습을 통해 도메인에 관계없이 동일한 특징과 작업에 특화된 도메인 변형을 분리함으로써 도메인에 관계없이 동일한 특징을 추출한다. DDN은 PACS, VLCS, OfficeHome, DomainNet, TerraIncognita에서 최신 기술(SoTA)을 초월하여, 소스 도메인에서의 지식을 효과적으로 통합하여 예측할 수 없는 타겟 도메인으로 일반화하는 데 성공한다.

ABSTRACT

Domain Generalization (DG) is a fundamental challenge for machine learning models, which aims to improve model generalization on various domains. Previous methods focus on generating domain invariant features from various source domains. However, we argue that the domain variantions also contain useful information, ie, classification-aware information, for downstream tasks, which has been largely ignored. Different from learning domain invariant features from source domains, we decouple the input images into Domain Expert Features and noise. The proposed domain expert features lie in a learned latent space where the images in each domain can be classified independently, enabling the implicit use of classification-aware domain variations. Based on the analysis, we proposed a novel paradigm called Domain Disentanglement Network (DDN) to disentangle the domain expert features from the source domain images and aggregate the source domain expert features for representing the target test domain. We also propound a new contrastive learning method to guide the domain expert features to form a more balanced and separable feature space. Experiments on the widely-used benchmarks of PACS, VLCS, OfficeHome, DomainNet, and TerraIncognita demonstrate the competitive performance of our method compared to the recently proposed alternatives.

연구 동기 및 목표

• 기존 도메인 일반화 방법이 도메인에 관계없이 동일한 특징을 우선시하면서도 유용한 작업에 특화된 도메인 변형을 손상시키는 한계를 해결하기 위해.
• 다음 분류 작업에 유용한 정보를 지닌 도메인 전용 특징을 학습하고 활용할 수 있도록 하기 위해.
• 소스 도메인에서 분리된 도메인 전문가 특징을 통합하여 예측할 수 없는 타겟 도메인으로 일반화할 수 있는 프레임워크를 개발하기 위해.
• 새로운 대비 학습 전략을 통해 도메인 간 분리성과 균형을 향상시켜 특징 표현 품질을 향상시키기 위해.

제안 방법

• 이 방법은 각 소스 도메인 별로 작업에 특화된 특징을 학습하는 도메인 전용 분류기(Domain Expert Classifiers, DECs)를 도입한다.
• 도메인 프로토타입 대비 학습(Domain Prototype Contrastive Learning, DPCL)을 활용하여, 도메인 내 특징을 정렬하고 도메인 간 균일성을 증진시킴으로써 특징의 분리성을 유도하는 대비 손실을 적용한다.
• 모델은 입력 이미지를 학습된 잠재 공간에서 도메인에 관계없이 동일한 특징과 도메인 전문가 특징으로 분리하여 각 도메인 별로 독립적으로 분류할 수 있도록 한다.
• 추론 과정에서는 예측할 수 없는 타겟 도메인의 특징이 소스 도메인의 전문가 특징 집합에 맵핑되어 효과적인 일반화가 가능해진다.
• 공유 백본을 사용하여 특징 추출을 수행하고, 도메인 전용 헤드를 통해 작업에 특화된 변형을 유지한다.
• 대비 학습 목표는 트레이닝의 안정성과 특징의 구분 능력을 향상시키기 위해 프oxy 앵커와 메모리 백을 사용하여 최적화된다.

Figure 1: Domains differ from each other. Some features that benefit classification tasks in one domain have no presence in other domains. For example, skin texture features in domain 1 (left) help in identifying the elephant, and in domain 2 (middle), no texture features are present for classificat

실험 결과

연구 질문

• RQ1 작업에 특화된 도메인 변형, 즉 도메인에 관계없이 동일한 특징만이 아니라 일반화 성능 향상에 기여할 수 있는가?
• RQ2 소스 도메인에서 도메인 전용 특징을 효과적으로 분리하고 통합하여 예측할 수 없는 타겟 도메인을 대표할 수 있는가?
• RQ3 대비 학습 전략이 서로 다른 도메인 간 도메인 전문가 특징의 분리성과 균형을 향상시킬 수 있는가?
• RQ4 영점 도메인 일반화에서 도메인 전문가 특징이 순수하게 도메인에 관계없이 동일한 표현보다 얼마나 뛰어난 성능을 보이는가?

주요 결과

• PACS 데이터셋에서 DDN은 평균 정확도 87.2%를 기록하여 다음으로 우수한 방법보다 0.2% 높은 성능을 보였다.
• VLCS에서 이 방법은 평균 정확도 83.8%를 기록하여 다양한 도메인 이동 상황에서도 강력한 일반화 능력을 입증했다.
• OfficeHome에서 DDN은 스케치 도메인에서 97.1%의 정확도를 달성하여 도메인 전용 노이즈와 변형에 대해 뛰어난 내구성을 보였다.
• 절단 실험 결과 DPCL를 제거하거나 분류기를 공유할 경우 성능이 크게 떨어지며, 이는 두 요소가 필수적임을 입증했다.
• t-SNE 시각화 결과 DDN 특징는 ERM과 SelfReg에 비해 더 단단한 클래스 내 군집과 더 균일한 클래스 간 분포를 형성하는 것으로 나타났다.
• 배치 크기 실험 결과 더 큰 배치 크기일수록 성능 향상이 관찰되어, 대비 학습이 트레이닝 동역학에 민감함을 확인했다.

Figure 2: Left: The relationships between source and target domains.; Right: The disentangled task-specific domain variations and domain expert features of target domains.