[논문 리뷰] Aggregating From Multiple Target-Shifted Sources

Changjian Shui, Zijian Li외 4명|arXiv (Cornell University)|2021. 05. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 84인용 수 7

한 줄 요약

이 논문은 레이블 분포 이탈 상황에서 효과적인 소스 선택을 가능하게 하기 위해 근본적인 분포 P(x)가 아닌 의미적 조건부 분포 유사도 P(x|y)를 모델링함으로써 다수의 소스 도메인에서 지식을 통합하는 새로운 다중 소스 도메인 적응 방법을 제안한다. 이 방법은 한정된 레이블, 비지도, 부분 레이블 도메인 적응의 세 가지 핵심 시나리오를 통합한 프레임워크를 통해 작업 관계와 레이블 분포 비율을 함께 학습함으로써 기존 베이스라인에 비해 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Multi-source domain adaptation aims at leveraging the knowledge from multiple tasks for predicting a related target domain. Hence, a crucial aspect is to properly combine different sources based on their relations. In this paper, we analyzed the problem for aggregating source domains with different label distributions, where most recent source selection approaches fail. Our proposed algorithm differs from previous approaches in two key ways: the model aggregates multiple sources mainly through the similarity of semantic conditional distribution rather than marginal distribution; the model proposes a \emph{unified} framework to select relevant sources for three popular scenarios, i.e., domain adaptation with limited label on target domain, unsupervised domain adaptation and label partial unsupervised domain adaption. We evaluate the proposed method through extensive experiments. The empirical results significantly outperform the baselines.

연구 동기 및 목표

• 기존의 다중 소스 도메인 적응 방법이 근본 분포 유사도 P(x)에 의존하는 데서 기인하는 한계를 해결한다. 이는 소스와 타겟의 레이블 분포가 다를 경우 실패한다.
• 한정된 레이블, 비지도, 부분 레이블 도메인 적응이라는 세 가지 핵심 도메인 적응 시나리오를 동시에 다룰 수 있는 통합 프레임워크를 개발한다.
• 일반화된 레이블 이탈(Goal Label Shift, GLS) 조건 하에서 의미적 조건부 분포 P(x|y)를 모델링하고 레이블 분포 비율을 추정함으로써 도메인 적응에서의 부정적 전이를 극복한다.
• 타겟 레이블이 부족하거나 일부 누락된 경우에도 신뢰할 수 있는 소스 통합을 가능하게 하여 실세계 응용에서의 강인성과 일반화 능력을 향상시킨다.

제안 방법

• 작업 유사성보다 근본 분포 P(x)보다 의미적 조건부 분포 유사도 P(x|y)의 유사도에 기반한 소스 선택 전략을 제안한다.
• 예측된 레이블 분포 비율과 조건부 분포 유사도를 통합하여 소스 재가중 및 모델 통합을 이끄는 통합 프레임워크를 도입한다.
• 레이블 분포 이탈을 모델링하고 소스 및 타겟 레이블 분포 간 비율을 추정하기 위해 일반화된 레이블 이탈(GLS) 조건을 활용한다.
• 소스 예측과 도메인 불일치의 가중 조합을 통해 모델 파라미터를 최적화하며, 추정된 레이블 비율에 기반한 적응형 가중치를 적용한다.
• 완전한 타겟 감독 없이도 작동하는 레이블 분포 비율 추정기 도입을 통해 비지도 및 부분 레이블 설정으로의 방법 확장을 달성한다.
• 정리된 이론적 통찰(정리 1 및 2)을 활용해 분포 이탈 하에서 위험을 최소화하는 원칙적인 소스 통합 메커니즘을 유도한다.

실험 결과

연구 질문

• RQ1 레이블 분포 이탈 상황에서 P(x|y) 유사도 기반 소스 선택이 기존의 P(x) 유사도 기반 방법보다 성능이 뛰어나게 되는가?
• RQ2 한정된 레이블, 비지도, 부분 레이블 도메인 적응 시나리오를 동시에 다룰 수 있는 통합 프레임워크는 어떻게 설계할 수 있는가?
• RQ3 소스와 타겟의 레이블 분포가 다를 경우 의미적 조건부 분포 P(x|y)를 모델링함으로써 부정적 전이가 얼마나 감소하는가?
• RQ4 레이블 분포 비율 추정기의 도입이 비지도 및 부분 레이블 도메인 적응 설정에서 성능 향상에 기여하는가?
• RQ5 다양한 소스 이탈된 데이터 분포 간에 추정된 레이블 비율은 얼마나 안정적이고 일관된가?

주요 결과

• 제안된 방법은 한정된 레이블, 비지도, 부분 레이블 설정이라는 세 가지 시나리오 전반에서 기존의 베이스라인에 비해 뚜렷한 성능 향상을 보였다.
• 아마존 리뷰 데이터셋에서의 실증 결과는 WADN이 DANN, PADA, DARN보다 더 높은 정확도와 더 안정적인 수렴을 보였음을 보여주었다.
• 레이블 분포 비율을 올바르게 추정함을 검증한 결과, 시각화를 통해 소실된 클래스(예: 아마존의 y=0, 숫자 데이터셋의 5–9)에 대해 높은 추정 가중치 α̂t를 할당함을 확인하였다.
• 비지도 및 부분 레이블 설정에서 WADN은 일부 클래스만 이용 가능한 상황에서도 안정적인 성능을 유지했으며, DANN 및 PADA처럼 높은 변동성을 보이는 방법들을 능가했다.
• 제안된 프레임워크는 DARN과 달리 소스 이탈 상황에서도 안정적인 레이블 분포 비율 추정기를 제공함을 보여주었다.
• α̂t의 변화 추이를 시각화한 결과, 모델이 소스에서 부족하게 나타나는 또는 소실된 클래스에 더 높은 가중치를 할당함으로써 이론적 기대와 일치하는 결과를 도출하였다.