[논문 리뷰] Distill and Fine-tune: Effective Adaptation from a Black-box Source Model

Jian Liang, Dapeng Hu외 2명|arXiv (Cornell University)|2021. 04. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 10

한 줄 요약

이 논문은 원본 데이터나 모델 가중치에 접근할 필요 없이 예측 결과만 제공되는 블랙박스 소스 모델에서 지식을 희석시켜 타겟 모델에 전달한 후, 비라벨 타겟 데이터를 이용해 미세조정하는 두 단계의 비지도 도메인 적응 프레임워크인 Dis-tune을 제안한다. 이는 원본 데이터가 필요 없으며 데이터 泄露 위험도 없이 폐쇄형 및 부분형 UDA 설정 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To alleviate the burden of labeling, unsupervised domain adaptation (UDA) aims to transfer knowledge in previous related labeled datasets (source) to a new unlabeled dataset (target). Despite impressive progress, prior methods always need to access the raw source data and develop data-dependent alignment approaches to recognize the target samples in a transductive learning manner, which may raise privacy concerns from source individuals. Several recent studies resort to an alternative solution by exploiting the well-trained white-box model instead of the raw data from the source domain, however, it may leak the raw data through generative adversarial training. This paper studies a practical and interesting setting for UDA, where only a black-box source model (i.e., only network predictions are available) is provided during adaptation in the target domain. Besides, different neural networks are even allowed to be employed for different domains. For this new problem, we propose a novel two-step adaptation framework called Distill and Fine-tune (Dis-tune). Specifically, Dis-tune first structurally distills the knowledge from the source model to a customized target model, then unsupervisedly fine-tunes the distilled model to fit the target domain. To verify the effectiveness, we consider two UDA scenarios (\ie, closed-set and partial-set), and discover that Dis-tune achieves highly competitive performance to state-of-the-art approaches.

연구 동기 및 목표

• 원본 데이터 접근이 불가능한 상황에서 비지도 도메인 적응(Ub)의 개인정보 보호 문제를 해결하기 위해 원본 데이터가 필요 없도록 하는 것.
• 원본 모델의 가중치나 원본 데이터가 아닌 예측 결과만 제공되는 블랙박스 소스 모델 상황에서도 효과적인 적응을 가능하게 하는 것.
• 소스 도메인과 타겟 도메인에 서로 다른 신경망 아키텍처를 사용할 수 있도록 하는 유연한 프레임워크를 개발하는 것.
• 폐쇄형 및 부분형 적응 시나리오 모두에서 경쟁력 있는 성능을 달성하는 것.

제안 방법

• 소스 예측 결과에서 소프트 레이블을 사용하여 새로 초기화된 타겟 모델로 블랙박스 소스 모델로부터 구조적 지식 희석을 수행한다.
• 학생-선생 지식 희석 목적함수를 활용해 소스 모델의 예측 행동을 타겟 모델로 전이한다.
• 이후, 타겟 도메인의 비라벨 데이터만을 사용해 희석된 타겟 모델을 비지도 미세조정한다.
• 미세조정 과정에서 일관성 정규화 손실을 적용하여 타겟 도메인에서의 강건성과 일반화 능력을 향상시킨다.
• 소스 및 타겟 도메인에 서로 다른 신경망 아키텍처를 사용할 수 있도록 유연성을 확보한다.
• 희석과 자기지도 미세조정의 두 단계 파이프라인을 통해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 원본 데이터나 모델 가중치에 접근할 수 없고 예측 결과만 제공되는 블랙박스 소스 모델 상황에서도 효과적인 도메인 적응을 달성할 수 있는가?
• RQ2 제안된 두 단계의 희석 및 미세조정 프레임워크는 기존의 데이터 의존적 또는 화이트박스 모델 기반 UDA 방법과 비교해 성능 및 개인정보 보호 측면에서 어떻게 성과를 내는가?
• RQ3 이 프레임워크는 폐쇄형 및 부분형 UDA 설정 모두에서 강력한 성능을 유지하는가?
• RQ4 소스 및 타겟 도메인에 서로 다른 신경망 아키텍처를 사용해도 적응 성능이 떨어지지 않는가?

주요 결과

• Dis-tune는 폐쇄형 및 부분형 적응 시나리오 모두에서 최신 기술 수준의 UDA 방법과 경쟁 가능한 성능을 달성한다.
• 원본 데이터가 필요 없이 블랙박스 소스 모델의 지식을 효과적으로 전이함으로써 개인정보 유출 위험을 완화한다.
• 두 단계의 희석 및 미세조정 파이프라인은 단순한 희석 또는 미세조정만을 사용하는 기준 모델 대비 적응 성능을 크게 향상시킨다.
• 소스 및 타겟 도메인에 서로 다른 신경망 아키텍처를 사용해도 성능 저하 없이 효과적으로 작동한다.
• 화이트박스 모델 접근으로 인한 데이터 泄露 위험(예: 생성적 적대적 훈련에서의 위험)을 피할 수 있다.
• 실험 결과는 실용적 제약 조건 하에서도 다양한 UDA 벤치마크에서 강력한 일반화 능력을 입증한다.