[논문 리뷰] FLoRA: Enhancing Vision-Language Models with Parameter-Efficient Federated Learning

Duy Phuong Nguyen, J. Pablo Muñoz외 1명|arXiv (Cornell University)|2024. 04. 12.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 시각-언어 모델(VLM)에 특히 CLIP 모델의 텍스트 인코더를 탈중앙화된 환경에서 미세조정할 수 있도록 저랭크 적응(LoRA)을 통합한 파rameter 효율적인 분산 학습 프레임워크인 FLoRA를 제안한다. 전체 가중치가 아닌 LoRA 어댑터만을 훈련시킴으로써 FLoRA는 통신 오버헤드를 최대 4,766배 감소시키고 기준 분산 학습 방법보다 최대 30% 높은 정확도를 달성한다. 또한 메모리 사용량은 2.47배 줄이고 훈련 속도는 34.72배 빠르게 한다.

ABSTRACT

In the rapidly evolving field of artificial intelligence, multimodal models, e.g., integrating vision and language into visual-language models (VLMs), have become pivotal for many applications, ranging from image captioning to multimodal search engines. Among these models, the Contrastive Language-Image Pre-training (CLIP) model has demonstrated remarkable performance in understanding and generating nuanced relationships between text and images. However, the conventional training of such models often requires centralized aggregation of vast datasets, posing significant privacy and data governance challenges. To address these concerns, this paper proposes a novel approach that leverages Federated Learning and parameter-efficient adapters, i.e., Low-Rank Adaptation (LoRA), to train VLMs. This methodology preserves data privacy by training models across decentralized data sources and ensures model adaptability and efficiency through LoRA's parameter-efficient fine-tuning. Our approach accelerates training time by up to 34.72 times and requires 2.47 times less memory usage than full fine-tuning.

연구 동기 및 목표

• 중앙 집중식 데이터 집합을 통한 시각-언어 모델(VLM) 학습, 예를 들어 CLIP에서 데이터 프라이버시와 통신 비효율성 문제를 해결하기 위해.
• 모델 성능을 유지하면서 분산 학습(FL)을 통해 효율적인 탈중앙화된 VLM 미세조정을 가능하게 하기 위해.
• 계산 및 메모리 비용을 최소화하면서 분산 환경에서 파rameter 효율적인 적응 기법인 LoRA를 탐색하기 위해.
• 특히 텍스트 인코더에서 CLIP 모델의 다양한 구성 요소에 LoRA 통합의 효과를 평가하기 위해.
• 비독립 동일 분포(IID), 비독립 비동일 분포(non-IID), 소수 샘플(few-shot) 조건 하에서 FLoRA의 최적 하이퍼파라미터(예: 랭크, 스케일링 인자)를 규명하기 위해.

제안 방법

• 각 클라이언트가 로컬 데이터를 보유한 채로, 원시 데이터를 공유하지 않고도 분산 학습을 통해 CLIP 모델을 훈련한다.
• LoRA 어댑터를 CLIP 모델의 텍스트 인코더의 투영 레이어에 통합하여 파rameter 효율적인 미세조정을 가능하게 한다.
• 각 FL 라운드에서 클라이언트와 서버 간에 전송되는 것은 오직 LoRA 어댑터 파라미터뿐이며, 이로 인해 통신 오버헤드가 극적으로 감소한다.
• FedAvg를 통해 글로벌 모델을 업데이트하며, 오직 LoRA 어댑터 가중치만 집계되고 재배포된다.
• LoRA 어댑터는 낮은 랭크 분해를 통해 전체 가중치를 동결한 채로 작은 파라미터 집합만 업데이트한다.
• 랭크(r=2) 및 스케일링 인자(α)와 같은 하이퍼파라미터를 성능과 효율성의 균형을 맞추기 위해 조정한다.

실험 결과

연구 질문

• RQ1 LoRA 기반의 미세조정이 VLM에서 정확도와 통신 효율성 측면에서 전체 미세조정과 비교해 어떻게 성능을 내는가?
• RQ2 CLIP 아키텍처의 텍스트 인코더, 이미지 인코더, 또는 둘 다 중에서 LoRA 적응이 파라미터 대비 성능 비율을 가장 높게 만드는 구성 요소는 어디인가?
• RQ3 비독립 비동일 분포(non-IID) 및 소수 샘플(few-shot) 조건 하에서 분산 시각-언어 학습에서 LoRA 어댑터의 최적 랭크와 스케일링 인자는 무엇인가?
• RQ4 LoRA는 모델 정확도를 손상시키지 않고도 분산 VLM 학습에서 통신 비용을 크게 줄일 수 있는가?
• RQ5 FLoRA는 IID, non-IID, 소수 샘플 설정을 포함한 다양한 데이터 분포에서 어떻게 성능을 내는가?

주요 결과

• FLoRA는 전체 미세조정 대비 최대 4,766배 통신 오버헤드를 감소시켰으며, 이는 오직 LoRA 어댑터 파라미터만 전송하기 때문이다.
• FLoRA는 다양한 벤치마크에서 기준 분산 학습 방법보다 최대 30% 높은 정확도를 달성했으며, non-IID 및 소수 샘플 설정에서도 동일한 성능 향상을 보였다.
• FLoRA를 사용한 훈련은 전체 미세조정 대비 수렴 속도를 최대 34.72배 빠르게 하고, 메모리 사용량은 2.47배 줄였다.
• 랭크 r=2인 LoRA 어댑터가 최적의 균형을 이룩했으며, 이는 텍스트 인코더에서 학습 가능한 파라미터를 24,576개로, 이미지 인코더에서 36,864개로 줄였다.
• 텍스트 인코더에 LoRA 통합이 이미지 인코더에 비해 더 높은 정확도를 제공하면서도 더 적은 파라미터를 사용했다.
• 중간 정도의 스케일링 인자(α)가 성능 향상과 사전 학습된 특징의 유지 간 최적의 균형을 이룩했으며, 과적합 또는 과소적합을 방지했다.