[논문 리뷰] Effective Label Propagation for Discriminative Semi-Supervised Domain Adaptation

Zhiyong Huang, Kekai Sheng외 6명|arXiv (Cornell University)|2020. 12. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 8

한 줄 요약

이 논문은 효과적 레이블 전파(ELP)를 제안하며, 상호 도메인 사이클 불일치 손실과 동적 임계값 설정 및 균형 잡힌 가짜 레이블 집계를 통한 내부 도메인 자기학습을 통해 대상 도메인의 특징 분류 가능성을 향상시키는 새로운 준지도 학습 도메인 적응 프레임워크이다. ELP는 Office-Home 및 DomainNet에서 최신 기술보다 2–3% 향상시키며, VisDA-2017에서 UDA 성능을 81.5%에서 86.1%로 향상시킨다.

ABSTRACT

Semi-supervised domain adaptation (SSDA) methods have demonstrated great potential in large-scale image classification tasks when massive labeled data are available in the source domain but very few labeled samples are provided in the target domain. Existing solutions usually focus on feature alignment between the two domains while paying little attention to the discrimination capability of learned representations in the target domain. In this paper, we present a novel and effective method, namely Effective Label Propagation (ELP), to tackle this problem by using effective inter-domain and intra-domain semantic information propagation. For inter-domain propagation, we propose a new cycle discrepancy loss to encourage consistency of semantic information between the two domains. For intra-domain propagation, we propose an effective self-training strategy to mitigate the noises in pseudo-labeled target domain data and improve the feature discriminability in the target domain. As a general method, our ELP can be easily applied to various domain adaptation approaches and can facilitate their feature discrimination in the target domain. Experiments on Office-Home and DomainNet benchmarks show ELP consistently improves the classification accuracy of mainstream SSDA methods by 2%~3%. Additionally, ELP also improves the performance of UDA methods as well (81.5% vs 86.1%), based on UDA experiments on the VisDA-2017 benchmark. Our source code and pre-trained models will be released soon.

연구 동기 및 목표

• 기존 준지도 학습 도메인 적응에서 대상 도메인의 표현 학습에 한계가 있음에도 불구하고 도메인 정합성이 확보되어 있음에도 불구하고 학습된 표현의 분류 가능성이 제한됨을 해결하고자 한다.
• 상호 도메인 및 내부 도메인 의미 정보 전파를 활용하여 대상 도메인의 특징 분류 가능성을 향상시키고자 한다.
• 동적 임계값 설정과 균형 잡힌 집계를 통한 견고한 자기학습 전략을 통해 가짜 레이블이 부착된 대상 샘플의 노이즈를 완화하고자 한다.
• 기존 아키텍처 수정 없이도 SSDA 및 UDA 방법을 모두 향상시킬 수 있는 일반화 가능한 프레임워크를 개발하고자 한다.

제안 방법

• 각 도메인의 특징가 다른 도메인의 레이블된 샘플을 설명하도록 요구함으로써 소스 및 대상 도메인 간 레이블 일관성을 강제하는 사이클 불일치 손실(CDL)을 도입한다.
• 두 단계 학습 프로세스를 적용한다: 제1단계는 CDL을 통해 초기 표현을 학습하고, 제2단계는 자기학습을 통해 이를 정교화한다.
• 대상 도메인의 고신뢰도 가짜 레이블 샘플을 필터링하기 위해 동적 임계값 전략을 적용하여 클래스별 불확실성에 적응한다.
• 신뢰할 수 있는 가짜 레이블을 시간에 따라 저장하고 업데이트하는 메모리 백을 사용하여 학습 안정성을 향상시킨다.
• 학습 가능한 람다 파rameter를 사용한 무작위 믹업을 통한 균형 잡힌 가짜 레이블 집계를 구현하여 특징 분류 가능성을 향상시킨다.
• 기존 SSDA 및 UDA 프레임워크에 플러그인 방식으로 통합하여 일반 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 준지도 학습 도메인 적응에서 소스 및 대상 도메인 간 의미 정합성을 향상시키기 위해 상호 도메인 레이블 일관성이 효과적으로 강제될 수 있는가?
• RQ2 가짜 레이블이 부착된 대상 데이터의 노이즈를 줄이고 특징 분류 가능성을 향상시키기 위해 내부 도메인 자기학습은 어떻게 설계될 수 있는가?
• RQ3 도메인 이동 상황에서 신뢰할 수 있는 가짜 레이블 샘플을 선택하기 위해 동적 임계값 전략이 수행하는 역할은 무엇인가?
• RQ4 적응형 람다를 사용한 균형 믹업 전략은 고정 또는 무작위 믹업과 비교해 표현 학습에 어떤 영향을 미치는가?
• RQ5 ELP는 다양한 벤치마크에서 SSDA 및 UDA 방법을 얼마나 향상시킬 수 있는가?

주요 결과

• ELP는 Office-Home 및 DomainNet 벤치마크에서 최신 기술 SSDA 방법의 분류 정확도를 각각 2–3% 향상시킨다.
• VisDA-2017에서 ELP는 기준 UDA 방법에 적용되었을 때 UDA 성능을 81.5%에서 86.1%로 향상시킨다.
• 절단 실험을 통해 ELP의 두 단계 모두 필수적임을 확인하였으며, 제2단계는 기준 대비 분류 가능성을 크게 향상시킨다.
• 동적 임계값 전략은 특히 클래스 불균형과 도메인 이동 상황에서 클래스별 신뢰도 수준에 적응함으로써 고정 임계값보다 뛰어난 성능을 보인다.
• 균형 믹업에서 최적의 람다 값은 0.5이며, 람다를 감소시키면 성능이 저하됨을 확인하여 대칭적 데이터 믹업의 중요성을 입증한다.
• 람다=0.5를 가진 모델은 Office-Home 벤치마크에서 평균 정확도 71.5%를 기록하여 MME 및 절단 변형보다 높은 성능을 달성한다.