[論文レビュー] FLoRA: Enhancing Vision-Language Models with Parameter-Efficient Federated Learning

Duy Phuong Nguyen, J. Pablo Muñoz+1 more|arXiv (Cornell University)|Apr 12, 2024

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文では、視覚言語モデル（VLM）に特化した、パラメータ効率の良い分散型フェデレーテッドラーニングフレームワークFLoRAを提案する。この手法は、低ランク微調整（LoRA）を視覚言語モデル（VLM）に統合し、特にCLIPモデルのテキストエンコーダーを分散環境で微調整することを目的としている。完全な重みではなく、LoRAアダプタのみを訓練することで、通信オーバーヘッドを最大4,766倍削減し、ベースラインのフェデレーテッド手法と比較して最大30%高い精度を達成するとともに、メモリ使用量を2.47倍削減し、学習速度を34.72倍に加速する。

ABSTRACT

In the rapidly evolving field of artificial intelligence, multimodal models, e.g., integrating vision and language into visual-language models (VLMs), have become pivotal for many applications, ranging from image captioning to multimodal search engines. Among these models, the Contrastive Language-Image Pre-training (CLIP) model has demonstrated remarkable performance in understanding and generating nuanced relationships between text and images. However, the conventional training of such models often requires centralized aggregation of vast datasets, posing significant privacy and data governance challenges. To address these concerns, this paper proposes a novel approach that leverages Federated Learning and parameter-efficient adapters, i.e., Low-Rank Adaptation (LoRA), to train VLMs. This methodology preserves data privacy by training models across decentralized data sources and ensures model adaptability and efficiency through LoRA's parameter-efficient fine-tuning. Our approach accelerates training time by up to 34.72 times and requires 2.47 times less memory usage than full fine-tuning.

研究の動機と目的

• 集中型データ集約を用いた視覚言語モデル（VLM）であるCLIPの学習におけるデータの機微性と通信非効率性を解決すること。
• フェデレーテッドラーニング（FL）を用いて、モデル性能を維持したまま、効率的で分散型のVLMの微調整を可能にすること。
• 計算コストとメモリコストを最小限に抑えるために、フェデレーテッド環境におけるパラメータ効率の良い適応手法（LoRA）を検討すること。
• 特にテキストエンコーダーに注目し、CLIPモデルの異なる部品にLoRA統合が与える効果を評価すること。
• フェデレーテッドVLM学習におけるLoRAの最適なハイパーパrameter（例：ランク、スケーリング係数）を同定すること。

提案手法

• フェデレーテッドラーニングを用いて、各クライアントがローカルデータを保有する分散環境でCLIPモデルを学習し、生データを共有しない。
• パラメータ効率の良い微調整を可能にするために、CLIPモデルのテキストエンコーダーの投影層にLoRAアダプタを挿入する。
• 各フェデレーテッドラーニングラウンドで、サーバーとクライアント間で送信されるのは、LoRAアダプタパラメータのみであり、通信オーバーヘッドを著しく削減する。
• グローバルモデルはFedAvgを用いて更新され、アグリゲートおよび再配布されるのは、LoRAアダプタの重みのみである。
• LoRAアダプタは低ランク分解を用いて、パラメータのわずかなサブセットのみを更新し、事前学習済み重みは凍結したままに保つ。
• ランク（r=2）やスケーリング係数（α）などのハイパーパラメータを調整し、性能と効率のバランスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド環境におけるLoRAベースの微調整は、完全微調整と比較して、VLMの精度と通信効率の点でどのように異なるか？
• RQ2 CLIPアーキテクチャのどの部分—テキストエンコーダー、画像エンコーダー、または両者—でLoRA適応がパラメータ比性能の点で最も優れているか？
• RQ3 非IIDおよび少数ショット条件下でのフェデレーテッド視覚言語学習において、LoRAアダプタの最適なランクとスケーリング係数は何か？
• RQ4 LoRAは、モデル精度を損なわせることなく、フェデレーテッドVLM学習における通信コストを顕著に削減できるか？
• RQ5 FLoRAは、IID、非IID、および少数ショット設定を含む多様なデータ分布において、どのように性能を発揮するか？

主な発見

• FLoRAは、完全微調整と比較して通信オーバーヘッドを最大4,766倍削減し、LoRAアダプタパラメータのみを送信することで実現した。
• FLoRAは、非IIDおよび少数ショット設定を含む複数のベンチマークで、ベースラインのフェデレーテッド学習手法と比較して最大30%高い精度を達成した。
• FLoRAを用いた学習は、完全微調整と比較して収束を最大34.72倍に加速し、メモリ使用量を2.47倍削減した。
• ランク r=2 のLoRAアダプタは最適なバランスを実現し、テキストエンコーダーではトレーニング可能なパラメータを24,576に、画像エンコーダーでは36,864に削減した。
• テキストエンコーダーへのLoRA統合は、画像エンコーダーへの適応よりも、より少ないパラメータで高い精度を達成した。
• 中程度のスケーリング係数（α）が、性能向上と事前学習済み特徴の保持の両立において最良のトレードオフを提供し、過学習や未学習を回避した。