[논문 리뷰] ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization

Qishi Dong, Muhammad Awais외 6명|arXiv (Cornell University)|2022. 10. 17.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

ZooD는 분류 간 구분 능력과 도메인 간 안정성을 평가하는 새로운 지표를 사용하여 모델 저널에서 사전 훈련된 모델(PTM)을 순위 매기고 앙상블하는 가용성 있는 범용 패러다임을 제안한다. 이는 이론적 유효성 검증을 통해 도메인 간 분포 이탈에 대한 일반화 성능을 향상시킨다. 또한 특성 선택을 위한 변동형 EM 알고리즘을 적용하여 성능을 향상시키며, 브루트 포스 미세조정 대비 최대 9859배 빠른 추론 속도를 달성하고, DomainNet에서 정확도를 46.5%에서 50.6%로 향상시킨다.

ABSTRACT

Recent advances on large-scale pre-training have shown great potentials of leveraging a large set of Pre-Trained Models (PTMs) for improving Out-of-Distribution (OoD) generalization, for which the goal is to perform well on possible unseen domains after fine-tuning on multiple training domains. However, maximally exploiting a zoo of PTMs is challenging since fine-tuning all possible combinations of PTMs is computationally prohibitive while accurate selection of PTMs requires tackling the possible data distribution shift for OoD tasks. In this work, we propose ZooD, a paradigm for PTMs ranking and ensemble with feature selection. Our proposed metric ranks PTMs by quantifying inter-class discriminability and inter-domain stability of the features extracted by the PTMs in a leave-one-domain-out cross-validation manner. The top-K ranked models are then aggregated for the target OoD task. To avoid accumulating noise induced by model ensemble, we propose an efficient variational EM algorithm to select informative features. We evaluate our paradigm on a diverse model zoo consisting of 35 models for various OoD tasks and demonstrate: (i) model ranking is better correlated with fine-tuning ranking than previous methods and up to 9859x faster than brute-force fine-tuning; (ii) OoD generalization after model ensemble with feature selection outperforms the state-of-the-art methods and the accuracy on most challenging task DomainNet is improved from 46.5\% to 50.6\%. Furthermore, we provide the fine-tuning results of 35 PTMs on 7 OoD datasets, hoping to help the research of model zoo and OoD generalization. Code will be available at https://gitee.com/mindspore/models/tree/master/research/cv/zood.

연구 동기 및 목표

• 분포 이탈으로 인해 성능이 저하되는 상황에서 대규모 사전 훈련된 모델(PTM) 저널을 효율적으로 활용하여 외부 도메인(OoD) 일반화를 달성하는 데 도전한다.
• 모든 PTM 조합에 대한 브루트 포스 미세조정은 계산 비용이 너무 크므로 이를 대체할 수 있는 확장 가능한 대안을 개발한다.
• 도메인 불변 특성 품질 기반으로 PTM을 순위 매기고, 노이즈 누적을 줄이기 위해 정보성 특성을 선택하여 OoD 일반화 성능을 향상시킨다.
• 35개의 PTM에 대해 7개의 OoD 데이터셋에서의 미세조정 결과, 특성 임베딩, 순위 점수를 포함한 재현 가능한 벤치마크를 제공한다.

제안 방법

• 각 PTM의 분류 간 구분 능력과 도메인 간 안정성을 평가하기 위해 이론적 유효성 검증을 위한 '한 도메인 제외 교차검증(leave-one-domain-out cross-validation)' 전략을 제안한다. 이는 OoD 일반화 능력에 대한 순위 매기기 지표로 기능한다.
• 다양한 도메인 간 추출된 특성의 안정성과 구분 능력을 정량화하여 PTM을 순위 매기며, 미지의 분포로의 일반화 성능이 뛰어난 모델을 식별한다.
• 특성에 대한 잠재 마스크를 활용한 변동형 EM 알고리즘을 도입하여 효율적인 특성 선택을 수행하며, 앙상블 모델의 노이즈를 감소시킨다.
• 진짜 사후분포에 대한 인수분해 가능한 변동형 근사와 국소 추정기법을 사용한 확률적 근사 기법을 도입하여 대규모 데이터셋에 적용할 수 있도록 확장한다.
• 특성 선택의 일관성을 보장하기 위해 역감마 하이퍼프리오어 모델을 도입한 베이지안 계층 모델을 제안한다.
• Office-Home와 DomainNet을 포함한 7개의 OoD 데이터셋에서 다양한 35개의 PTM을 대상으로 종합적인 평가를 수행한다.

실험 결과

연구 질문

• RQ1 분류 간 구분 능력과 도메인 간 안정성 기반의 순위 매기기 지표가 이전의 IID 기반 지표보다 OoD 작업에서의 미세조정 성능을 더 잘 예측할 수 있는가?
• RQ2 PTM 저널에서 특성 선택을 통한 모델 앙상블은 최신 기술 대비 OoD 일반화 성능을 얼마나 향상시킬 수 있는가?
• RQ3 모든 PTM 조합에 대한 완전한 미세조정 대비 ZooD는 얼마나 빠른 성능 향상을 달성할 수 있는가?
• RQ4 제안된 특성 선택 메커니즘은 앙상블 모델에서 노이즈를 효과적으로 줄이면서도 불변 특성을 유지하는가?
• RQ5 제안된 프레임워크는 대규모 데이터셋에 적용해도 선택 일관성과 성능을 유지할 수 있는가?

주요 결과

• 제안된 순위 매기기 지표는 실제 미세조정 성능과 강한 상관관계가 있으며, OoD 일반화 능력을 예측하는 데 있어 기존의 IID 기반 지표를 능가한다.
• ZooD는 브루트 포스 미세조정 대비 9859배 빠른 속도 향상을 달성하여 추론 시간을 2662.27 GPU 시간에서 0.27 GPU 시간으로 단축시켰다.
• 어려운 DomainNet 벤치마크에서 ZooD는 정확도를 기준선 46.5%에서 50.6%로 향상시키며 이전의 최신 기술을 초월했다.
• Office-Home에서 ZooD는 평균 정확도 85.1%를 달성하여 이전 최신 기술인 70.6%를 크게 앞서 갔다.
• 변동형 EM 기반의 특성 선택 방법은 매우 높은 선택 일관성을 보였으며, n ≤ d일 때도 TPR가 90% 이상이었고, n > d일 경우 FPR은 거의 0%에 수렴했다.
• 다양한 PTM과 OoD 데이터셋에서 강력한 성능 유지를 보이며, 강인성과 확장성을 입증했다.