[논문 리뷰] DINE: Domain Adaptation from Single and Multiple Black-box Predictors

Jian Liang, Dapeng Hu외 2명|arXiv (Cornell University)|2021. 04. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 83인용 수 7

한 줄 요약

이 논문은 원본 데이터나 모델 가중치에 접근할 수 없지만 블랙박스 소스 예측기에서의 지식 정련을 가능하게 하는 새로운 이중단계 도메인 적응 프레임워크인 DINE를 제안한다. 이는 적응형 레이블 스무딩과 구조적 정규화(보간 일관성 및 상호정보 최대화)를 통해 이루어지며, 이후 타겟 데이터만을 사용한 피니팅으로 이어진다. DINE는 단일 소스, 다중 소스, 부분 집합 UDA 설정 전반에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 뷰어션 트랜스포머와 같은 대규모 소스 모델을 경량 타겟 네트워크로 적응시키는 데에도 효과적이다.

ABSTRACT

To ease the burden of labeling, unsupervised domain adaptation (UDA) aims to transfer knowledge in previous and related labeled datasets (sources) to a new unlabeled dataset (target). Despite impressive progress, prior methods always need to access the raw source data and develop data-dependent alignment approaches to recognize the target samples in a transductive learning manner, which may raise privacy concerns from source individuals. Several recent studies resort to an alternative solution by exploiting the well-trained white-box model from the source domain, yet, it may still leak the raw data through generative adversarial learning. This paper studies a practical and interesting setting for UDA, where only black-box source models (i.e., only network predictions are available) are provided during adaptation in the target domain. To solve this problem, we propose a new two-step knowledge adaptation framework called DIstill and fine-tuNE (DINE). Taking into consideration the target data structure, DINE first distills the knowledge from the source predictor to a customized target model, then fine-tunes the distilled model to further fit the target domain. Besides, neural networks are not required to be identical across domains in DINE, even allowing effective adaptation on a low-resource device. Empirical results on three UDA scenarios (i.e., single-source, multi-source, and partial-set) confirm that DINE achieves highly competitive performance compared to state-of-the-art data-dependent approaches. Code is available at \url{https://github.com/tim-learn/DINE/}.

연구 동기 및 목표

• 원본 데이터나 모델 파arameter에 접근할 수 없고 블랙박스 소스 모델 예측만 제공되는 현실적인 환경에서 비지도 도메인 적응(UDA)을 해결하기 위해.
• 기존의 화이트박스 모델이나 적대적 훈련에 의존하는 방법에서 발생하는 데이터 泄露 개인정보 위험을 해소하기 위해.
• 소스 및 타겟 네트워크가 다를 경우에도 효과적인 적응을 가능하게 하여 저자원 환경에서의 구현을 지원하기 위해.
• 라벨이 부여된 타겟 샘플이 필요 없이 타겟 데이터의 구조적 정보를 활용할 수 있는 방법을 개발하기 위해.
• 단일 소스, 다중 소스, 부분 집합 적응을 포함한 다양한 UDA 시나리오에서 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 블랙박스 소스 예측에서 타겟 모델로 지식을 정련하기 위한 이중단계 프레임워크를 제안하며, 자르기 또는 부분적인 출력을 다룰 수 있도록 적응형 레이블 스무딩을 사용한다.
• 상위 1개의 소프트맥스 확률을 유지하고 나머지를 균일하게 재분배함으로써 노이즈를 감소시키고 일반화 성능을 향상시키는 적응형 레이블 스무딩(AdaLS) 기법을 도입한다.
• 보간 일관성 훈련(ICT)을 구조적 정규화로 통합하여 보간된 샘플에 대한 예측 일관성을 강제한다.
• 상호정보 최대화를 적용하여 타겟 예측의 다양성을 증가시켜 강건성과 일반화 능력을 향상시킨다.
• 대조 목표를 사용하여 타겟 데이터에 대해 끝내기로 피니팅을 수행함으로써 모델을 타겟 데이터 분포와 더 잘 맞춘다.
• 다중 소스 UDA로 프레임워크를 확장하여 가중 평균 또는 앙상블 전략을 사용해 여러 소스 예측기를 융합한다.

실험 결과

연구 질문

• RQ1 원본 데이터나 모델 파arameter에 접근하지 않고도 블랙박스 모델 예측만을 사용해 효과적인 도메인 적응을 달성할 수 있는가?
• RQ2 부분적 또는 잘린 소스 예측(예: 상위-k 소프트 레이블)으로부터 지식을 효과적으로 정련할 수 있는가?
• RQ3 라벨이 부여된 타겟 샘플이 없을 경우에 구조적 정규화는 정련 성능 향상에 어떻게 기여하는가?
• RQ4 타겟 네트워크가 소스 네트워크보다 훨씬 작을 경우에도 제안된 방법이 강력한 성능을 유지하는가?
• RQ5 이 프레임워크는 단일 소스, 다중 소스, 부분 집합 적응을 포함한 다양한 UDA 설정에 일반화 가능한가?

주요 결과

• DINE는 표준 UDA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성했으며, 타겟 백본으로 ResNet-50를 사용할 경우 Office-Home 데이터셋에서 평균 정확도 74.1%를 기록했다.
• 제거 실험 결과, 보간 일관성(L_im)과 믹스업 정규화(L_mix) 모두 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 1.5~2.0%p 감소했다.
• 적응형 레이블 스무딩(AdaLS) 기법은 하나의 레이블 인코딩과 일반 레이블 스무딩보다 뛰어난 성능을 보였으며, 특히 상위 1개 예측만 제공되는 경우에 두각을 나타냈다.
• DINE는 타겟 모델이 작을 경우에도 강력한 성능을 유지했으며, ViT를 소스 모델로 사용할 경우 Office-Home에서 ResNet-18 또는 MobileNet-v2로도 72.2%의 정확도를 달성했다.
• 모든 설정에서 피니팅 단계가 성능 향상에 크게 기여함을 입증했으며, 이는 정련된 모델을 타겟 도메인에 맞추는 데 있어 핵심적인 역할을 함을 시사한다.
• 초기화값 설정에 대해 뛰어난 안정성을 보였으며, β=1.0 및 γ=0.6 근처에서 안정적인 성능을 유지했고, 훈련 과정에서 신뢰성 있게 수렴했다.