[논문 리뷰] Regularized Learning for Domain Adaptation under Label Shifts

Kamyar Azizzadenesheli, Anqi Liu외 2명|arXiv (Cornell University)|2019. 03. 22.

Domain Adaptation and Few-Shot Learning인용 수 56

한 줄 요약

정규화된 가중치 추정(RLLS) 아래의 Regularized Learning, 소스와 대상 간의 라벨 분포 시프트를 보정하기 위한 실용 알고리즘으로 정규화된 가중치 추정과 Wasserstein 유사 일반화 보장을 사용합니다. 저샘플 및 큰 시프트 구간에서 특히 이전 방법보다 우수합니다.

ABSTRACT

We propose Regularized Learning under Label shifts (RLLS), a principled and a practical domain-adaptation algorithm to correct for shifts in the label distribution between a source and a target domain. We first estimate importance weights using labeled source data and unlabeled target data, and then train a classifier on the weighted source samples. We derive a generalization bound for the classifier on the target domain which is independent of the (ambient) data dimensions, and instead only depends on the complexity of the function class. To the best of our knowledge, this is the first generalization bound for the label-shift problem where the labels in the target domain are not available. Based on this bound, we propose a regularized estimator for the small-sample regime which accounts for the uncertainty in the estimated weights. Experiments on the CIFAR-10 and MNIST datasets show that RLLS improves classification accuracy, especially in the low sample and large-shift regimes, compared to previous methods.

연구 동기 및 목표

• 감독 학습에서 대상 레이블이 없을 때의 라벨 시프트를 동기화하고 다루는 것
• 작은 샘플 구간에서도 견고하게 남는 실용적인 가중치 추정 절차를 개발하는 것
• 라벨 시프트 아래 대상 도메인 분류기에 대한 이론적 일반화 경계를 제공하는 것
• 가중치 추정 불확실성을 완화하고 대상 성능을 개선하기 위한 정규화 추정기를 제안하는 것
• RLLS를 MNIST와 CIFAR-10에서 기존 방법과 비교하여 실험적으로 검증하는 것

제안 방법

• 라벨 시프트에 대해 p(i)와 q(i)를 소스/대상 라벨 분포로 정의하고 중요도 가중치 w(i)=q(i)/p(i)를 사용한다.
• 선형 모델 q-hat - C-hat 1 = C-hat theta를 정규화하여 theta-hat와 w = 1 + lambda theta-hat를 얻는 두 단계의 가중치 추정 방법을 제안한다.
• 소스 데이터를 가중치 세트와 클래스 세트로 분할하여 가중치를 추정하고 가중된 경험적 손실 L_n(h; w)에서 분류기를 학습한다.
• RLLS 분류기에 대해 차원에 독립적인 일반화 경계를 유도하며 이는 손실 클래스의 Rademacher 복잡도와 발산 항에 의존하는 함수 클래스 복잡성을 통해 결정된다.
• 작은 샘플 구간에서 가중치 추정의 영향을 제어하기 위해 정규화된 추정기 w_hat = 1 + lambda theta_hat를 도입하고, lambda는 대상 샘플 크기와 가중치 추정에 대한 신뢰도에 따라 선택된다.
• 다양한 데이터 샘플 구간에서 정규화의 균형과 학습을 달성하기 위해 lambda와 beta를 선택하는 지침을 제공한다.

실험 결과

연구 질문

• RQ1 대상 레이블이 없을 때 labeled 소스 데이터와 unlabeled 대상 데이터에서 q(y)/p(y) 형식의 라벨 시프트 가중치를 어떻게 정확히 추정할 수 있는가?
• RQ2 라벨 시프트 아래 재가중된 소스 데이터에서 학습된 분류기의 일반화 보장은 무엇이며, 작은 샘플 구간에서 가중치 추정 불확실성을 어떻게 반영할 수 있는가?
• RQ3 정규화된 가중치 추정기가 비가중치 또는 비정규화 가중치에 비해 예측 성능을 향상시키는가, 특히 큰 시프트나 대상 데이터가 제한적일 때?
• RQ4 제안된 RLLS 방법이 기존 방법(BBSL 등)과 비교할 때 큰 시프트 시나 다양한 라벨 시프트 시나리오에서 실제로 대규모 비전 데이터셋에서 어떤 성능을 보이는가?

주요 결과

• RLLS는 대규모 시프트, 저샘플 설정에서 가중치 추정 오차를 크게 개선하고 Baseline 대비 경쟁력 있는 정확도 향상을 보인다.
• RLLS 분류기에 대한 차원 독립적 일반화 경계가 도출되어 라벨 시프트 아래의 초과 위험 보장을 개선한다.
• 가중치 추정기의 정규화는 대상 데이터가 드문 경우 높은 분산의 가중치 추정을 완화하여 모든 구간에서 견고한 성능을 가능하게 한다.
• MNIST 및 CIFAR-10에 대한 실증 결과는 RLLS가 가중치 추정 및 대상 정확도에서 일관되게 BBSL보다 우수하며 특히 큰 시프트와 제한된 대상 데이터에서 더 우수하다.
• 부분적으로 정규화된 가중치(lambda가 0과 1 사이일 때)가 중간 대상 샘플 구간에서 최고의 성능을 낼 수 있으며 가중치 불확실성 수준에 적응한다.
• split 비율 beta, 정규화 강도 lambda를 선택하고 가중치 추정 bootstrap를 위한 비편향 예측기 h_0를 사용하는 실용적인 지침을 제공한다.