[논문 리뷰] Domain Alignment with Triplets

Weijian Deng, Liang Zheng외 1명|arXiv (Cornell University)|2018. 12. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 10

한 줄 요약

이 논문은 유사도 제약을 통한 정렬(Similarity-Constrained Alignment, SCA)을 제안하며, 이는 소스 도메인과 타겟 도메인 간의 클래스 수준 의미 관계를 유지함으로써 도메인 불변 특징 학습을 향상시키는 새로운 비지도 도메인 적응 방법이다. 공동 분포 매칭을 통한 도메인 수준 정렬과 가짜 레이블이 부여된 타겟 데이터를 기반으로 한 트리플릿 손실 유사도 제약를 결합함으로써 SCA는 우수한 성능을 달성하여, Office-31에서 최신 기준보다 최대 5.7% 높은 정확도를 기록한다.

ABSTRACT

Deep domain adaptation methods can reduce the distribution discrepancy by learning domain-invariant embedddings. However, these methods only focus on aligning the whole data distributions, without considering the class-level relations among source and target images. Thus, a target embeddings of a bird might be aligned to source embeddings of an airplane. This semantic misalignment can directly degrade the classifier performance on the target dataset. To alleviate this problem, we present a similarity constrained alignment (SCA) method for unsupervised domain adaptation. When aligning the distributions in the embedding space, SCA enforces a similarity-preserving constraint to maintain class-level relations among the source and target images, i.e., if a source image and a target image are of the same class label, their corresponding embeddings are supposed to be aligned nearby, and vise versa. In the absence of target labels, we assign pseudo labels for target images. Given labeled source images and pseudo-labeled target images, the similarity-preserving constraint can be implemented by minimizing the triplet loss. With the joint supervision of domain alignment loss and similarity-preserving constraint, we train a network to obtain domain-invariant embeddings with two critical characteristics, intra-class compactness and inter-class separability. Extensive experiments conducted on the two datasets well demonstrate the effectiveness of SCA.

연구 동기 및 목표

• 비지도 도메인 적응에서 도메인 불변 임bedding이 서로 다른 클래스의 이미지를 잘못 정렬하는 의미적 불일치 문제를 해결하기 위해.
• 임bedding 공간에서 클래스 내 밀도와 클래스 간 분리도를 유지함으로써 타겟 도메인에서 분류기의 일반화 성능을 향상시키기 위해.
• 타겟 레이블이 필요 없이 도메인 간 유사도 유지 제약을 강제하는 방법을 개발하기 위해.
• 도메인 수준 정렬과 트리플릿 손실을 통한 거리 학습을 조합함으로써 전이 성능이 향상됨을 보여주기 위해.

제안 방법

• 이 방법은 임bedding 공간에서 소스 및 타겟 데이터 분포를 정렬하기 위해 공동 분포 매칭(Joint Distribution Matching, JMMD)을 사용한다.
• 동일 클래스의 임bedding이 가까이 오도록 하고, 다른 클래스는 멀어지도록 하는 트리플릿 손실을 이용한 유사도 유지 제약을 도입한다.
• 라벨이 부여된 소스 데이터로 훈련된 분류기를 사용하여 타겟 이미지에 대해 가짜 레이블을 할당하며, 훈련에 사용되는 것은 높은 신뢰도 예측에 한정된다.
• 최종 모델은 도메인 혼동 손실(JMMD)과 메트릭 학습을 위한 트리플릿 손실을 조합한 손실 함수를 통해 엔드 투 엔드로 훈련된다.
• 트리플릿 손실은 동일 클래스의 소스 및 타겟 이미지(긍정 쌍)가 다른 클래스 쌍(부정 쌍)보다 임bedding 공간에서 더 가까이 있도록 강제한다.
• 이 방법은 적대적 적응(예: RevGrad)과 같은 다른 도메인 정렬 기법과 호환되며, 이를 함께 사용할 수 있다.

실험 결과

연구 질문

• RQ1 소스 도메인과 타겟 도메인 간의 클래스 수준 의미 관계를 유지하는 것이 비지도 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 유사도 유지 제약이 도메인 수준 및 클래스 수준에서 임bedding 정렬에 어떤 영향을 미치는가?
• RQ3 가짜 레이블이 부여된 타겟 데이터가 존재할 때 도메인 수준 정렬과 메트릭 학습 사이의 최적의 무게 조정 비율은 무엇인가?
• RQ4 제안된 방법은 적대적 훈련 또는 차이 최소화와 같은 기존 도메인 정렬 기법과 효과적으로 조합될 수 있는가?

주요 결과

• SCA는 유사도 유지 제약만 적용했을 때 Office-31에서 기준 모델 대비 평균 4.5%의 정확도 향상을 달성한다.
• Office-31의 A→W, W→A, D→A 작업에서 SCA-RevGrad(Adversarial adaptation와 결합된 SCA)는 RevGrad 단독 대비 각각 +5.7%, +4.0%, +5.1%의 성능 향상을 기록한다.
• A-distance로 측정된 분포 차이(discrepancy)는 SCA 특징를 사용했을 때 기준 및 도메인 수준 정렬만 수행한 경우보다 유의미하게 감소한다.
• 도메인 정렬과 유사도 제약 간 최적의 균형은 가중치 하이퍼파rameter β = 1일 때 달성되며, 이보다 높은 값(예: β = 5)에서는 성능이 저하된다.
• t-SNE 시각화 결과는 SCA 임bedding이 명확한 클래스 분리도를 유지하고 도메인 정렬을 향상시키며, 표준 도메인 정렬 대비 의미적 불일치를 줄임을 확인한다.
• 이 방법은 가짜 레이블이 부여된 타겟 데이터를 효과적으로 활용하여 도메인 간 메트릭 일관성을 강제함으로써 강력한 일반화 성능을 보였다.