[논문 리뷰] Reducing the Covariate Shift by Mirror Samples in Cross Domain Alignment

Zhao Yin, Minquan Wang외 1명|arXiv (Cornell University)|2021. 10. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 62인용 수 5

한 줄 요약

이 논문은 저변이 분포를 왜곡하지 않고 비지도 도메인 적응에서 공변량 이탈을 줄이기 위해 소스 도메인 샘플의 타겟 도메인 내 가상의 동반자인 미러 샘플을 제안한다. 이들 가상의 미러 쌍을 정렬하는 데 사용되는 미러 손실을 도입함으로써, 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, Office-Home에서 평균 73.4%의 정확도와 USPS→MNIST에서 99.2%의 정확도를 기록하였다. 이는 거리 및 가중치 설정에 대해 뛰어난 내성성을 보였다.

ABSTRACT

Eliminating the covariate shift cross domains is one of the common methods to deal with the issue of domain shift in visual unsupervised domain adaptation. However, current alignment methods, especially the prototype based or sample-level based methods neglect the structural properties of the underlying distribution and even break the condition of covariate shift. To relieve the limitations and conflicts, we introduce a novel concept named (virtual) mirror, which represents the equivalent sample in another domain. The equivalent sample pairs, named mirror pairs reflect the natural correspondence of the empirical distributions. Then a mirror loss, which aligns the mirror pairs cross domains, is constructed to enhance the alignment of the domains. The proposed method does not distort the internal structure of the underlying distribution. We also provide theoretical proof that the mirror samples and mirror loss have better asymptotic properties in reducing the domain shift. By applying the virtual mirror and mirror loss to the generic unsupervised domain adaptation model, we achieved consistent superior performance on several mainstream benchmarks. Code is available at https://github.com/CTI-VISION/Mirror-Sample

연구 동기 및 목표

• 기존의 도메인 정렬 방법이 진정한 데이터 분포의 구조적 특성을 忽시함으로써 기초 데이터 분포를 왜곡하는 한계를 해결하기 위해.
• 공변량 이탈 감소의 본질적 딜레마를 해결하기 위해: 편향된 근사 분포를 정렬하면 조건부 확률이 도메인 간에 동일하다는 가정이 깨진다.
• 진정한 기초 분포의 무결성을 유지하면서, 새로운 구조 인식 메커니즘을 통해 도메인 정렬을 향상시키기 위해.
• 생성 모델링이나 명시적 스타일 전이에 의존하지 않고 도메인 정렬을 향상시키는 방법을 개발하기 위해.
• 미러 기반 정렬이 도메인 이탈을 감소시키는 데 있어 渐近적 우월성을 이론적으로 정당화하기 위해.

제안 방법

• 소스 도메인 샘플의 타겟 도메인 내 가상의 동반자인 (가상의) 미러 샘플의 개념을 도입: 동일한 클래스와 시각적 패턴을 가진 동일한 인스턴스를 나타낸다.
• 각 소스 샘플에 대해 타겟 도메인 내에서 k개의 최근접 이웃을 찾아 미러 쌍을 구성하며, 유클리드 또는 가우시안 커널 기반 거리 측정을 사용한다.
• 각 소스 샘플의 특징을 해당 미러 샘플의 특징과 정렬하도록 정규화하는 미러 손실을 제안: 두 샘플 간의 거리를 최소화한다.
• 학습 중에 미러 손실과 표준 교차 엔트로피 손실을 균형 잡기 위해 학습 가능한 하이퍼파rameter γ를 사용한다.
• 거리에 반비례하는 가중치를 갖는 가중치 미러 샘플 전략을 적용하여 이상치 이웃에 대한 내성성을 향상시킨다.
• 백본 아키텍처를 수정하지 않고도 표준 비지도 도메인 적응 프레임워크(예: 특징 추출기와 분류기 헤드) 내에서 미러 손실을 적용한다.

실험 결과

연구 질문

• RQ1 미러 샘플은 진정한 기초 데이터 분포를 왜곡하지 않고 공변량 이탈을 줄이는 데 도움이 될 수 있는가?
• RQ2 미러 쌍을 정렬하는 것이 교차 도메인 분류 벤치마크에서 더 나은 일반화와 성능 향상으로 이어지는가?
• RQ3 거리 측정법과 이웃 가중치 설정의 변화에 대해 미러 손실은 얼마나 내성적인가?
• RQ4 기존의 생성 모델링 또는 샘플 수준 정렬 방법보다 미러 기반 방법이 비지도 도메인 적응에서 더 우수한 성능을 내는가?
• RQ5 미러 기반 정렬의 향상된 渐近적 행동에 대한 이론적 정당성은 무엇인가?

주요 결과

• 제안된 방법은 Office-Home 벤치마크에서 평균 73.4%의 정확도를 달성하여 이전 최신 기술 수준 방법을 초월하였다.
• 디지트 데이터셋에서 USPS→MNIST에서 99.2%의 정확도를 기록하였으며, CoGAN(89.1%), CyCADA(96.5%), DRANet(97.8%)를 모두 뛰어넘었다.
• 미러 손실은 다양한 거리 측정법과 가중치 설정에 대해 뛰어난 내성성을 보였으며, k, 거리 유형, 가중치 정의의 변화에 따른 성능 저하가 최소화되었다.
• 민감도 분석 결과, Office-Home와 Office-31에서 γ = 1.0일 때 최적의 성능을 기록하였으며, 범위 내에서 만족스러운 성능를 보였다(예: Office-Home에서 γ ∈ [1.0, 2.0]).
• t-SNE 시각화 결과, 미러 손실이 학습 과정에서 소스 도메인과 타겟 도메인 간에 더 일관되고 정렬된 클러스터 구조를 유도하는 것으로 확인되었다.
• 이론적 분석은 미러 샘플과 미러 손실이 도메인 이탈 감소에 있어 더 나은 渐近 수렴 성질을 제공함을 지지한다.