[논문 리뷰] Jacobian Norm for Unsupervised Source-Free Domain Adaptation

Weikai Li, Meng Cao외 1명|arXiv (Cornell University)|2022. 04. 07.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 원천 데이터가 없을 때의 일반화 성능 향상을 위해 목표 도메인에서 모델의 스무스함을 향상시키는 데 목적이 있는 잭비안 노름(Jacobian Norm, JN) 정규화 기법을 제안한다. 목표 샘플 주변에서 모델 출력의 JN을 최소화함으로써, 원천 데이터가 필요 없이 일반화 성능을 향상시킨다. 이는 Office-31, Office-Home, VisDA-C에서 최신 기술(SOTA) 성능을 달성하며, 계산 비용은 극히 적게 소요된다.

ABSTRACT

Unsupervised Source (data) Free domain adaptation (USFDA) aims to transfer knowledge from a well-trained source model to a related but unlabeled target domain. In such a scenario, all conventional adaptation methods that require source data fail. To combat this challenge, existing USFDAs turn to transfer knowledge by aligning the target feature to the latent distribution hidden in the source model. However, such information is naturally limited. Thus, the alignment in such a scenario is not only difficult but also insufficient, which degrades the target generalization performance. To relieve this dilemma in current USFDAs, we are motivated to explore a new perspective to boost their performance. For this purpose and gaining necessary insight, we look back upon the origin of the domain adaptation and first theoretically derive a new-brand target generalization error bound based on the model smoothness. Then, following the theoretical insight, a general and model-smoothness-guided Jacobian norm (JN) regularizer is designed and imposed on the target domain to mitigate this dilemma. Extensive experiments are conducted to validate its effectiveness. In its implementation, just with a few lines of codes added to the existing USFDAs, we achieve superior results on various benchmark datasets.

연구 동기 및 목표

• 원천 데이터가 제공되지 않을 경우 지식 전이가 제한되어 발생하는 USFDA 성능 저하 문제를 해결한다.
• 단지 의사 레이블링에 의존하는 암시적 정렬 방법의 한계를 극복하며, 국소적 모델 행동을 활용하지 못하는 문제를 해결한다.
• 목표 도메인에서의 모델 스무스함을 향상시켜 일반화 성능을 향상시키는 일반적인 정규화 기법을 개발한다.
• 기존 USFDA 프레임워크와 호환되는 이론적으로 탄탄한 플러그-앤-플레이 솔루션을 제공한다.
• 오직 원천 모델만 접근 가능한 블랙박스 환경에서도 효과적인 적응을 가능하게 한다.

제안 방법

• 도메인 차이와 함께 모델 스무스함을 포함하는 새로운 일반화 오차 경계를 유도한다. 이는 잭비안 노름 기반의 스무스함 항목을 포함한다.
• 목표 샘플 주변의 국소 이웃에서 출력 변화가 큰 것을 방지하는 JN 정규화 기법을 설계하여 스무스함을 증진시킨다.
• 분류기의 고정을 유지하면서, 특징 인코더의 피니터닝 과정에서 JN 정규화 기법을 손실 함수에 통합한다.
• 암시적 도메인 정렬을 위한 의사 레이블링과 JN 정규화를 결합하여 함께 적응 성능을 향상시킨다.
• 기존 USFDA 파이프라인에 쉽게 통합할 수 있도록 경량이며 미분 가능한 모듈로 구현한다. 통합에 필요한 코드는 몇 줄로 충분하다.
• 백프로파게이션을 사용하여 모델을 엔드 투 엔드로 최적화하며, 사전 학습된 레이어와 새로 추가된 레이어에 대해 별도의 학습률을 설정한다.

실험 결과

연구 질문

• RQ1 잭비안 노름으로 측정한 모델 스무스함은 원천 없는 도메인 적응에서 일반화 성능 향상에 의미 있는 인덕티브 바이어스로 기능할 수 있는가?
• RQ2 원천 데이터가 없을 때 JN 정규화 기법을 도입하면 USFDA 성능이 향상되는가?
• RQ3 암시적 정렬 기법만 사용할 경우와 비교해 JN 정규화 기법이 도메인 적응 성능에 어떤 영향을 미치는가?
• RQ4 실제로 JN 정규화 기법을 추가할 경우 계산 비용은 얼마나 되는가?
• RQ5 오직 원천 모델만 접근 가능한 블랙박스 USFDA 환경에서도 JN 정규화 기법을 적용할 수 있는가?

주요 결과

• 제안된 JN 정규화 기법은 Office-31 및 Office-Home에서 모두 최신 기술(SOTA) 평균 정확도를 달성하며, 기존 SOTA 방법들을 능가한다.
• VisDA-C에서 이 방법은 12개 클래스 중 9개에서 최고 또는 두 번째로 높은 클래스별 정확도를 기록하여 강력한 일반화 능력을 입증한다.
• 기본 모델인 SHOT 대비 Office-31에서 2%, Office-Home에서 3.7%, VisDA-C에서 5.8% 향상된 성능을 기록한다.
• JN 정규화 기법의 시간 비용은 극히 낮으며, VisDA-C에서 배치당 단지 0.06초 추가될 뿐이므로 실용적인 응용에 적합하다.
• 절단 분석 결과 암시적 정렬과 모델 스무스함 둘 다 필수적임을 확인하였으며, JN 정규화 기법만으로도 Office-31에서 87.0%의 정확도를 달성하여 뛰어난 독립 성능을 보였다.
• 결과는 모델 스무스함이 USFDA에서 이전에 간과되었지만 중요한 요소임을 이론적 통찰과 함께 검증한다.