[논문 리뷰] FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification

Aliaksandra Shysheya, John Bronskill외 3명|arXiv (Cornell University)|2022. 06. 17.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

FiT는 고정된 ImageNet-전처리된 백본과 학습 가능한 FiLM 어댑터 레이어, 메타학습된 나이브 베이즈 분류기를 조합하여 개인화 및 피어드럴러 이미지 분류를 위한 파라미터 효율적인 소수의 샘플 전이 학습 방법을 제안한다. 이는 BiT의 학습 가능한 파라미터의 1% 미만으로 VTAB-1k에서 최신 기술 수준의 정확도를 달성하며, 저샷 설정에서 모델 업데이트 크기와 통신 비용을 크게 줄였다.

ABSTRACT

Modern deep learning systems are increasingly deployed in situations such as personalization and federated learning where it is necessary to support i) learning on small amounts of data, and ii) communication efficient distributed training protocols. In this work, we develop FiLM Transfer (FiT) which fulfills these requirements in the image classification setting by combining ideas from transfer learning (fixed pretrained backbones and fine-tuned FiLM adapter layers) and meta-learning (automatically configured Naive Bayes classifiers and episodic training) to yield parameter efficient models with superior classification accuracy at low-shot. The resulting parameter efficiency is key for enabling few-shot learning, inexpensive model updates for personalization, and communication efficient federated learning. We experiment with FiT on a wide range of downstream datasets and show that it achieves better classification accuracy than the leading Big Transfer (BiT) algorithm at low-shot and achieves state-of-the art accuracy on the challenging VTAB-1k benchmark, with fewer than 1% of the updateable parameters. Finally, we demonstrate the parameter efficiency and superior accuracy of FiT in distributed low-shot applications including model personalization and federated learning where model update size is an important performance metric.

연구 동기 및 목표

• 데이터가 제한되고 통신 효율성이 중요한 개인화 및 피어드럴러 기계 학습 설정에서 저샷 학습의 과제를 해결하기 위해.
• 전이 학습의 정확도와 메타학습의 파라미터 효율성을 결합하여 모델 업데이트 효율성을 향상시키기 위해.
• 다양한 최종 작업에서 높은 분류 정확도를 유지하면서 미세조정 시 학습 가능한 파라미터의 수를 줄이기 위해.
• 클라이언트와 서버 간 전송되는 모델 업데이트 크기를 최소화하여 통신 효율적인 피어드럴러 학습을 가능하게 하기 위해.
• 기존의 BiT와 같은 베이스라인에 비해 저샷 개인화 및 피어드럴러 학습 시나리오에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 모든 파라미터를 동결한 채로 ImageNet-21K로 사전학습된 백본(BiT-M-R50x1)을 사용하여 특징을 추출한다.
• 각 최종 작업에 대해 미세조정되는 파라미터 효율적인 FiLM 어댑터 레이어를 도입하여 최소한의 업데이트 가능한 파라미터로 적응을 가능하게 한다.
• 표준 선형 레이어 대신 메타학습된 나이브 베이즈 분류기를 사용하는 에피소드 기반 훈련을 통해 저샷 환경에서의 일반화 성능을 향상시킨다.
• 소수의 샘플에서의 일반화 성능을 향상시키기 위해 메트릭 학습 기반의 최종 레이어를 적용하며, 이는 에피소드 기반 프로토타입 네트워크(ProtoNets)를 통해 훈련된다.
• 두 단계 훈련 프로토콜을 적용한다: 첫 번째로 FiLM 레이어는 서포트 세트에서 미세조정되고, 두 번째로 메타학습 방식으로 쿼리 세트에서 분류기가 훈련된다.
• 개인화 및 피어드럴러 학습 설정 모두에 동일한 아키텍처를 적용하며, 클라이언트별로 업데이트하고 피어드럴러 훈련에서 글로벌 집계를 수행한다.

실험 결과

연구 질문

• RQ1 파라미터 효율적인 적응 방법이 표준 전이 학습보다 훨씬 적은 학습 가능한 파라미터를 사용하면서도 더 높은 소수의 샘플 분류 정확도를 달성할 수 있는가?
• RQ2 메타학습된 분류기와 파라미터 효율적인 어댑터를 조합하면 저샷 및 다양한 최종 작업에서 성능 향상이 이루어지는가?
• RQ3 제한된 클라이언트 데이터를 가진 피어드럴러 학습에서 FiT는 BiT에 비해 정확도와 통신 효율성 측면에서 어떻게 비교되는가?
• RQ4 FiT는 극소수의 데이터로도 개인화된 모델 업데이트를 효과적으로 지원할 수 있는가? 특히 업데이트 크기가 매우 작을 경우에도 성능이 유지되는가?
• RQ5 에피소드 기반 훈련에서 나이브 베이즈 분류기를 사용할 경우 표준 선형 분류기보다 소수의 샘플 이미지 분류에서 성능이 뛰어나게 되는가?

주요 결과

• FiT는 BiT가 요구하는 학습 가능한 파라미터의 1% 미만으로 VTAB-1k 벤치마크에서 최신 기술 수준의 정확도를 달성한다.
• 저샷 설정(클래스당 2~10개 샘플)에서, CIFAR-100 및 Quickdraw를 포함한 여러 데이터셋에서 FiT가 BiT를 초월하는 분류 정확도를 기록한다.
• 피어드럴러 학습에서 FiT는 학습 가능한 파라미터 수가 현저히 줄어들어 BiT 대비 통신 비용을 수 개의 주기로 감소시킨다.
• 개인화 학습에서는 사용자당 몇 개의 예제만으로도 FiT가 높은 정확도를 달성하며, BiT보다 최대 100배 작아진 모델 업데이트 크기를 확보한다.
• FiLM 어댑터와 메타학습된 분류기의 조합은 특히 저데이터 환경에서 표준 선형 헤드보다 더 나은 일반화 성능을 보인다.
• FiT는 ImageNet-21K와 다른 분포를 가진 다양한 데이터셋에서도 강력한 성능을 유지하여 사전학습 분포를 초월한 강건성을 입증한다.