[논문 리뷰] Partial Transfer Learning with Selective Adversarial Networks

Zhangjie Cao, Mingsheng Long외 2명|arXiv (Cornell University)|2017. 07. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 63

한 줄 요약

SAN은 공유 라벨 공간에서 분포를 맞추고 이상치 소스 클래스는 걸러내어 지식 전달을 선택적으로 수행함으로써 부분 전이의 최첨단 성과를 달성한다.

ABSTRACT

Adversarial learning has been successfully embedded into deep networks to learn transferable features, which reduce distribution discrepancy between the source and target domains. Existing domain adversarial networks assume fully shared label space across domains. In the presence of big data, there is strong motivation of transferring both classification and representation models from existing big domains to unknown small domains. This paper introduces partial transfer learning, which relaxes the shared label space assumption to that the target label space is only a subspace of the source label space. Previous methods typically match the whole source domain to the target domain, which are prone to negative transfer for the partial transfer problem. We present Selective Adversarial Network (SAN), which simultaneously circumvents negative transfer by selecting out the outlier source classes and promotes positive transfer by maximally matching the data distributions in the shared label space. Experiments demonstrate that our models exceed state-of-the-art results for partial transfer learning tasks on several benchmark datasets.

연구 동기 및 목표

• 대상 라벨이 소스 라벨의 부분집합인 경우의 부분 전이 학습을 고무한다.
• 이상치 소스 클래스에서의 부정적 전이를 피하는 심층 프레임워크를 개발한다.
• 공유 라벨 공간에서의 분포 매칭을 통해 긍정적 전이를 촉진한다.
• 엔트로피 최소화 구성요소를 포함한 엔드-투-엔드 학습을 가능하게 한다.
• 벤치마크 도메인 적응 데이터셋에서 최신 연구 성과를 보여준다.

제안 방법

• 클래스별 도메인 판별기를 사용하여 C_t ⊂ C_s를 처리하도록 도메인 적대 네트워크를 확장하는 SAN을 도입한다.
• G_y(x)를 기반으로 |C_s| 개의 도메인 판별기에 확률 가중 손실을 계산하여 대상 인스턴스를 관련 판별기에 할당한다.
• C_s \ C_t에 해당하는 이상치 소스 클래스의 판별기를 낮은 가중치로 처리하는 클래스 레벨 가중치를 도입한다.
• 전이용 타깃의 라벨이 없는 데이터에 엔트로피 최소화를 적용하여 G_y 예측을 날카롭게 하고 Y_hat를 개선한다.
• 감독 손실, 타깃의 엔트로피 손실, 선택적 적대 손실(식 6 및 7)을 결합한 엔드-투-엔드 학습 목표를 제시한다.
• Office-31, Caltech-Office, 및 ImageNet-Caltech에서 여섯 가지 전이 태스크와 SAN-selective, SAN-entropy의 제거 연구를 포함하여 기본 방법들과 비교 평가한다.

실험 결과

연구 질문

• RQ1 타깃 라벨 공간이 소스 라벨 공간의 부분집합인 경우 부분 전이 학습이 달성될 수 있는가?
• RQ2 공유 공간에서 긍정적 전이를 촉진하면서 이상치 소스 클래스에서의 부정적 전이를 감소시키는 선택적 적대적 적응이 되는가?
• RQ3 엔트로피 최소화가 선택적 전이 개선을 위해 라벨 예측기를 정제하는 데 도움이 되는가?
• RQ4 부분 전이 태스크에서 SAN이 표준 적대적/도메인 적응 방법과 어떻게 비교되는가?

주요 결과

• SAN은 모든 여섯 개의 Office-31 전이 태스크에서 최첨단 방법들을 능가한다.
• SAN은 소스 공간이 작거나 타깃 공간이 작은 태스크 및 대소 소스에서 작은 타깃 설정에서도 상당한 이득을 달성한다.
• 제거 실험은 SAN-selective가 SAN 및 SAN-entropy보다 성능이 떨어진다고 보여주며, 선택적 적대적 매칭과 엔트로피 최소화의 이점을 확인한다.
• 엔트로피 최소화는 특히 클래스 수 차이가 큰 경우 성능을 향상시킨다(예: 1000→84).
• t-SNE 시각화는 SAN 하에서 대상 데이터가 관련 소스 클래스에 더 선명하게 구분되고 올바르게 정렬됨을 보여준다.
• 전반적으로 SAN은 RevGrad 및 DAN/RTN 기본 방법 대비 안정적인 수렴과 부정적 전이의 우수한 처리 능력을 보인다.