[논문 리뷰] Tuning LayerNorm in Attention: Towards Efficient Multi-Modal LLM Finetuning

Bingchen Zhao, Haoqin Tu외 3명|arXiv (Cornell University)|2023. 12. 18.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델을 다중모달 대규모 언어 모델(MLLM)로 피지컬러닝하기 위한 매우 효율적인 방법으로, 각 어텐션 블록 내의 LayerNorm 파라미터만 튜닝하는 것을 제안한다. 도메인 이동 문제로 간주함으로써, 이 방법은 전체 파라미터 튜닝 및 LoRA와 비교해 비교적 높거나 동등한 성능을 달성하며, 학습 가능한 파라미터를 41.9% 감소시키고 GPU 메모리 사용량을 17.6% 줄이며, 13B 모델을 사용한 다섯 개의 다중모달 작업에서 평균 성능을 20% 이상 향상시킨다.

ABSTRACT

This paper introduces an efficient strategy to transform Large Language Models (LLMs) into Multi-Modal Large Language Models (MLLMs). By conceptualizing this transformation as a domain adaptation process, i.e., transitioning from text understanding to embracing multiple modalities, we intriguingly note that, within each attention block, tuning LayerNorm suffices to yield strong performance. Moreover, when benchmarked against other tuning approaches like full parameter finetuning or LoRA, its benefits on efficiency are substantial. For example, when compared to LoRA on a 13B model scale, performance can be enhanced by an average of over 20% across five multi-modal tasks, and meanwhile, results in a significant reduction of trainable parameters by 41.9% and a decrease in GPU memory usage by 17.6%. On top of this LayerNorm strategy, we showcase that selectively tuning only with conversational data can improve efficiency further. Beyond these empirical outcomes, we provide a comprehensive analysis to explore the role of LayerNorm in adapting LLMs to the multi-modal domain and improving the expressive power of the model.

연구 동기 및 목표

• 다중모달 이해를 위한 대규모 언어 모델의 피지컬러닝에 따른 높은 계산 비용을 해결하기 위해.
• 전체 파라미터 튜닝 및 LoRA의 성능을 유지하거나 초월하는 파라미터 효율적인 피지컬러닝 전략을 탐색하기 위해.
• 정규화 레이어인 LayerNorm이 텍스트에서 다중모달 이해로의 도메인 적응에서 핵심적인 역할을 하는지 조사하기 위해.
• 특히 대화형 데이터의 데이터 유형이 피지컬러닝 효율성과 성능에 미치는 영향을 평가하기 위해.
• LayerNorm 튜닝 모델의 표현 능력과 최적화 동역학을 층 간 유사도 및 기울기 분산 분석을 통해 분석하기 위해.

제안 방법

• 모델의 모든 다른 구성 요소를 동결하면서, MLLM 피지컬러닝 중 각 어텐션 블록 내 LayerNorm 파라미터만 튜닝하는 방법을 사용한다.
• LLM에서 MLLM로의 전이를 도메인 적응 문제로 간주하며, LayerNorm 튜닝이 다중모달 입력에 효과적으로 적응하는 데 기여한다.
• 이 방법은 'LayerNorm-simple'으로 단순화되며, 전체 모델에서 LayerNorm만 학습함으로써 학습 가능한 파라미터를 전체 모델의 0.004%로 줄인다.
• 더욱이 효율성과 성능 향상을 위해 대화형 데이터를 활용한 데이터 정제 전략을 결합한다.
• 모델의 표현 능력은 은닉 표현 간 층 간余kosine 유사도를 통해 분석하고, 최적화 안정성은 기울기 분산 분석을 통해 평가한다.
• LLaMA2 13B 및 7B 모델을 사용해 다섯 개의 다중모달 벤치마크에서 전체 피지컬러닝 및 LoRA와의 비교를 통해 평가한다.

실험 결과

연구 질문

• RQ1 어텐션 블록 내 LayerNorm 파라미터만 튜닝하는 것이 다중모달 LLM 피지컬러닝에서 전체 파라미터 튜닝 또는 LoRA와 비교해 뛰어난 성능을 달성할 수 있는가?
• RQ2 LayerNorm 튜닝이 더 낮은 층 간 표현 유사도로 나타나는 바와 같이 모델의 표현 능력을 향상시키는가?
• RQ3 피지컬러닝 데이터의 선택, 특히 대화형 데이터의 영향은 모델 성능과 효율성에 어떤 영향을 미치는가?
• RQ4 LayerNorm 튜닝의 최적화 행동은 특히 학습 중 기울기 분산 측면에서 어떻게 나타나는가?
• RQ5 예를 들어 LayerNorm만 학습하는 최소한의 파라미터 업데이트 전략이 뚜렷한 계산 비용 감소를 이끌어내며 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 13B 모델에서 LoRA 대비 다섯 개의 다중모달 작업에서 평균 성능을 20% 이상 향상시키기 위해 LayerNorm 파라미터만 튜닝하는 것이 가능하다.
• LoRA 대비 학습 가능한 파라미터를 41.9% 감소시키고 GPU 메모리 사용량을 17.6% 줄여 소비자용 GPU에서도 효율적인 피지컬러닝을 가능하게 한다.
• 학습 가능한 파라미터 비율이 0.004%에 불과한 'LayerNorm-simple' 구성이 다섯 개의 벤치마크에서 평균적으로 LoRA를 4.3% 초월한다.
• 단지 대화형 데이터로 피지컬러닝을 수행하면, 세부 기술 설명이나 추론 데이터와 같은 다른 데이터 유형 대비 평균 성능이 50% 향상된다.
• LayerNorm 튜닝 모델은 전체 피지컬러닝 모델 대비 평균적으로 10.6% 낮은 층 간 표현 유사도를 보이며, 더 높은 표현 능력과 더 나은 일반화 능력을 나타낸다.
• LayerNorm 튜닝 모델의 기울기 분산은 전체 피지컬러닝보다 유의미하게 낮아, 더 안정적인 최적화와 향상된 수렴 성능을 나타낸다.