[논문 리뷰] Source-Free Adaptation to Measurement Shift via Bottom-Up Feature Restoration

Cian Eastwood, Ian Mason외 2명|arXiv (Cornell University)|2021. 07. 12.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 측정 변화에 대한 소스 프리 도메인 적응을 위한 바텀업 특징 복원(BUFR)을 제안한다. BUFR는 소프트 밴드 히스토그램을 사용하여 타겟 도메인에서 소스 도메인 특징을 복원하고, 특징 분포를 정렬함으로써 성능을 향상시킨다. BUFR는 정확도, 校정성, 데이터 효율성 측면에서 기존 방법들을 능가하며, 특히 타겟 도메인에서 소스 모델의 특징 분리 성능이 떨어질 경우에 유의미한 성능 향상을 보인다.

ABSTRACT

Source-free domain adaptation (SFDA) aims to adapt a model trained on labelled data in a source domain to unlabelled data in a target domain without access to the source-domain data during adaptation. Existing methods for SFDA leverage entropy-minimization techniques which: (i) apply only to classification; (ii) destroy model calibration; and (iii) rely on the source model achieving a good level of feature-space class-separation in the target domain. We address these issues for a particularly pervasive type of domain shift called measurement shift which can be resolved by restoring the source features rather than extracting new ones. In particular, we propose Feature Restoration (FR) wherein we: (i) store a lightweight and flexible approximation of the feature distribution under the source data; and (ii) adapt the feature-extractor such that the approximate feature distribution under the target data realigns with that saved on the source. We additionally propose a bottom-up training scheme which boosts performance, which we call Bottom-Up Feature Restoration (BUFR). On real and synthetic data, we demonstrate that BUFR outperforms existing SFDA methods in terms of accuracy, calibration, and data efficiency, while being less reliant on the performance of the source model in the target domain.

연구 동기 및 목표

• 엔트로피 최소화 기반 소스 프리 도메인 적응(SFDA)의 한계를 해결한다. 이 방법들은 분류 작업에만 적용 가능하며, 모델의 校정성은 악화되고, 타겟 도메인에서 특징 분리가 유지되어야 한다는 전제에 의존한다.
• 의료 영상 및 자율주행과 같은 실세계 머신러닝 구현에서 흔한 측정 변화를 다루며, 센서나 영상 조건의 변화로 인해 도메인 변화가 발생하는 상황을 다룬다.
• 새로운 특징을 학습하는 대신, 소스 도메인의 의미를 타겟 도메인 특징에 복원하는 방법을 제안한다. 이는 의미 일관성이 성능 복구에 충분하다는 가정에 기반한다.
• 원시 데이터를 저장하지 않고도 소스 특징 분포를 포괄할 수 있는 경량이며 유연한 분포 근사 기법으로 소프트 밴드 히스토그램을 개발한다.
• 특히 깊은 네트워크 레이어에서 계층적 특징 구조를 유지함으로써 특징 복원 품질을 향상시키는 바텀업 학습 전략(BUFR)을 도입한다.

제안 방법

• 모델 학습 중에 소스 도메인의 근본적 특징 분포를 근사하기 위해 소프트 밴드 히스토그램을 사용하며, 특징 분포의 경량 표현만 저장한다.
• 배포 시점에 타겟 특징 추출기의 특징 분포가 저장된 소스 분포와 히스토그램 기반 분포 정렬을 통해 일치하도록 조정한다.
• 깊은 레이어부터 점진적으로 미세조정하는 바텀업 학습 전략을 적용함으로써 계층적 특징 구조를 유지하고 특징 복원 정밀도를 향상시킨다.
• 소프트 밴드 타겟 특징 분포와 저장된 소스 분포 간의 KL 발산을 최소화하는 손실 함수를 사용해 특징 추출기를 최적화한다.
• 온도 조절 기반 소프트 밴딩을 통해 미분 가능한 히스토그램 근사를 가능하게 하여 특징 추출기의 엔드 투 엔드 학습을 지원한다.
• 적응 과정에서 분류기 헤드를 특징 추출기에서 분리함으로써 원본 소스 분류기를 유지하면서 특징 추출 과정만 적응시킨다.

실험 결과

연구 질문

• RQ1 측정 변화 하에서 분포 정렬을 통한 특징 복원이 엔트로피 최소화 기반 SFDA 방법보다 우수한가?
• RQ2 바텀업 학습 전략은 소스 프리 적응에서 특징 복원 품질과 일반화 능력을 향상시키는가?
• RQ3 BUFR는 소스 모델의 초기 특징 분리가 타겟 도메인에서 유지되지 않을 경우에 얼마나 소스 모델 의존도를 줄이는가?
• RQ4 실제 및 합성 측정 변화 벤치마크에서 상태 기준 SFDA 방법들과 비교해 BUFR의 정확도, 校정성, 데이터 효율성은 어떠한가?
• RQ5 경량 히스토그램 기반 분포 근사는 소스 데이터 접근 없이도 소스 의미를 효과적으로 포착하고 복원할 수 있는가?

주요 결과

• BUFR는 CIFAR-100-C 및 EMNIST-DA 벤치마크에서 모두 최고 성능을 기록하며, TENT, SHOT-IM, AdaBN 등의 방법들을 모두 초월한다.
• CIFAR-100-C에서 BUFR는 평균 정확도 63.1% (±0.3)를 달성하여, 다음으로 우수한 방법(TENT)보다 평균 3.1%p 높다.
• BUFR는 모델의 校정성도 크게 향상시켜, CIFAR-100-C에서 기대 校정 오차(ECE)를 13.6%로 낮췄으며, TENT의 14.3% 및 AdaBN의 17.7%보다 낮다.
• 기존 SFDA 접근법보다 더 높은 데이터 효율성을 보이며, 제한된 타겟 도메인 데이터 조건에서도 높은 성능 유지를 유지한다.
• BUFR의 바텀업 학습 전략은 특히 깊은 레이어에서 특징 복원 품질을 향상시켜, 소스 모델의 특징 분리 성능이 타겟 도메인에서 떨어질 경우 성능 저하를 줄인다.
• EMNIST-DA에서 스파터 오염 조건 하에서 BUFR는 71.6%의 정확도를 기록하며, 두 번째로 좋은 방법(TENT)보다 1.0%p 높다.