[論文レビュー] Tuning LayerNorm in Attention: Towards Efficient Multi-Modal LLM Finetuning

Bingchen Zhao, Haoqin Tu+3 more|arXiv (Cornell University)|Dec 18, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、大規模言語モデル（LLM）をマルチモーダル大規模言語モデル（MLLM）に微調整するための極めて効率的な手法として、各アテンションブロック内のLayerNormパラメータのみを調整することを提案する。ドメインシフトとして適応を定式化することで、完全微調整やLoRAと同等またはそれ以上の性能を達成し、トレーナブルパラメータを41.9%削減し、GPUメモリを17.6%削減しながら、13Bモデルを用いた5つのマルチモーダルタスクで平均性能を20%以上向上させる。

ABSTRACT

This paper introduces an efficient strategy to transform Large Language Models (LLMs) into Multi-Modal Large Language Models (MLLMs). By conceptualizing this transformation as a domain adaptation process, i.e., transitioning from text understanding to embracing multiple modalities, we intriguingly note that, within each attention block, tuning LayerNorm suffices to yield strong performance. Moreover, when benchmarked against other tuning approaches like full parameter finetuning or LoRA, its benefits on efficiency are substantial. For example, when compared to LoRA on a 13B model scale, performance can be enhanced by an average of over 20% across five multi-modal tasks, and meanwhile, results in a significant reduction of trainable parameters by 41.9% and a decrease in GPU memory usage by 17.6%. On top of this LayerNorm strategy, we showcase that selectively tuning only with conversational data can improve efficiency further. Beyond these empirical outcomes, we provide a comprehensive analysis to explore the role of LayerNorm in adapting LLMs to the multi-modal domain and improving the expressive power of the model.

研究の動機と目的

• マルチモーダル理解のための大規模言語モデルの微調整に伴う高い計算コストに対処すること。
• 完全微調整やLoRAと同等またはそれ以上の性能を維持するパラメータ効率の良い微調整戦略を検討すること。
• テキストからマルチモーダル理解へのドメイン適応において、正規化層（例：LayerNorm）が中心的な役割を果たすかどうかを調査すること。
• 特に会話データの種別が、微調整の効率性と性能に与える影響を評価すること。
• 層間類似度と勾配分散を用いた分析を通じて、LayerNorm微調整モデルの表現力と最適化ダイナミクスを分析すること。

提案手法

• 本手法は、MLLM微調整中に各アテンションブロック内のLayerNormパラメータのみを微調整し、他のすべてのモデル部品を固定する。
• LLMからMLLMへの移行をドメイン適応タスクとして定式化し、LayerNormの微調整がマルチモーダル入力への効果的適応を可能にする。
• さらに単純化された「LayerNorm-simple」に拡張し、モデル全体でLayerNormのみを学習対象とすることで、トレーナブルパラメータをモデル全体の0.004%にまで削減する。
• さらに、会話データの選別を含むデータキューレーションと組み合わせることで、効率性と性能をさらに向上させる。
• モデルの表現力は、隠れ表現の層間コサイン類似度を用いて分析し、最適化の安定性は勾配分散分析を通じて評価する。
• LLaMA2 13Bおよび7Bモデルを用い、完全微調整およびLoRAと比較して5つのマルチモーダルベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 アテンションブロック内のLayerNormパラメータのみを微調整することで、完全パラメータ微調整やLoRAと同等の強力な性能をマルチモーダルLLM微調整で達成できるか？
• RQ2 層間表現類似度が低下することで示されるように、LayerNorm微調整は表現力の向上をもたらすか？
• RQ3 微調整データの選択、特に会話データの影響が、モデルの性能と効率にどのように影響するか？
• RQ4 特にトレーニング中の勾配分散の観点から、LayerNorm微調整の最適化行動はいかなるものか？
• RQ5 たとえばLayerNormのみを学習対象とするような最小限のパラメータ更新戦略が、顕著に計算コストを削減しつつ最先端の性能を達成できるか？

主な発見

• 13Bモデルを用いた5つのマルチモーダルタスクにおいて、LayerNormパラメータのみを微調整することで、LoRA比で平均して20%以上の性能向上を達成した。
• LoRAと比較して、トレーナブルパラメータを41.9%削減し、GPUメモリ使用量も17.6%削減することで、一般消費者向けGPUでも効率的な微調整が可能になった。
• 0.004%のパラメータしかトレーニングしない「LayerNorm-simple」設定が、5つのベンチマークで平均してLoRAを4.3%上回った。
• 会話データのみで微調整した場合、詳細な記述や推論データなどの他のデータタイプと比較して、平均で50%の性能向上を達成した。
• LayerNorm微調整モデルは、完全微調整モデルと比較して平均で10.6%低い層間表現類似度を示し、より高い表現力と一般化性能を示している。
• LayerNorm微調整モデルの勾配分散は、完全微調整よりも顕著に低く、より安定した最適化と改善された収束性を示している。