[論文レビュー] RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation

Mahdi Nikdan, Soroush Tabesh+2 more|arXiv (Cornell University)|Jan 9, 2024

Advanced Vision and Imaging被引用数 6

ひとこと要約

RoSA は低秩アダプターとスパースアダプターを組み合わせることで、同じ予算内で LoRA や Sparse Adaptation を上回り、FFT にも一部タスクで匹敵する、ほぼ完全なファインチューニング精度を実現します。さらに効率的なスパース GPUカーネルと量子化バリアント（QRoSA）を可能にします。

ABSTRACT

We investigate parameter-efficient fine-tuning (PEFT) methods that can provide good accuracy under limited computational and memory budgets in the context of large language models (LLMs). We present a new PEFT method called Robust Adaptation (RoSA) inspired by robust principal component analysis that jointly trains $ extit{low-rank}$ and $ extit{highly-sparse}$ components on top of a set of fixed pretrained weights to efficiently approximate the performance of a full-fine-tuning (FFT) solution. Across a series of challenging generative tasks such as grade-school math and SQL query generation, which require fine-tuning for good performance, we show that RoSA outperforms LoRA, pure sparse fine-tuning, and alternative hybrid methods at the same parameter budget, and can even recover the performance of FFT on some tasks. We provide system support for RoSA to complement the training algorithm, specifically in the form of sparse GPU kernels which enable memory- and computationally-efficient training, and show that it is also compatible with low-precision base weights, resulting in the first joint representation combining quantization, low-rank and sparse approximations. Our code is available at https://github.com/IST-DASLab/RoSA.

研究の動機と目的

• 大規模言語モデルの計算・メモリ制約下での PEFT の動機付け。
• FFT 更新のより良い近似を目指した低秩成分とスパース成分を組み合わせた頑健な適応法の提案。
• GPU 上でのスパース・低秩アダプタの効率的なシステム実装の開発。
• 同じ予算内で RoSA が難易度の高いタスクで FFT の性能と同等に達することを示す。

提案手法

• RoSA を、事前学習済み重みへ低秩アダプターとスパースアダプターを結合して同時最適化として定式化。
• データ駆動型の TopK ベースのマスク生成手順（Algorithm 1）を用いてスパース性マスクを生成。
• ベース重みを凍結したまま、低秩とスパースの両方のアダプターを並行して訓練。
• スパース構造を活かすための特殊な SDDMM カーネルを用いたスパース-デンスBackward Pass の統合。
• RoSA を量子化と組み合わせることで RoSA に量子化を適用した QRoSA を拡張（QLoRA 互換）。
• CSR-スパースストレージと GPUs 用の効率的カーネルサポートを備えた PyTorch ベースのシステム実装を提供。

実験結果

リサーチクエスチョン

• RQ1 低秩＋スパースの適応は、複雑なダウンストリームタスクに対して LoRA のような純粋な低秩法より FFT 更新の近似を改善できるか？
• RQ2 RoSA アダプタは、同じパラメータ/メモリ予算で LoRA および SpA と比較して、さまざまなタスクでより高い精度を提供するか？
• RQ3 重みの量子化と互換性があり、精度を損なうことなく効率をさらに向上させるか？
• RQ4 Sparse Backward/Forward カーネルを搭載した GPU ハードウェア上での RoSA の実用的なシステム性能はどの程度か？

主な発見

• RoSA は同じ予算で複数のタスク（GSM8k、ViGGO、SQL）において LoRA および Sparse Adaptation を上回る。
• RoSA は複数のデータセットで単エポック実験の FFT 精度に匹敵するか、あるいはそれを超えることができる。
• 拡張訓練では RoSA が GSM8k および ViGGO で FFT に匹敵または上回り、全体的に予算を超える場合でも他の手法を上回る。
• 量子化を用いた joint 表現をサポートする RoSA（QRoSA）は、特定タスクでメモリをさらに削減しつつ精度を維持または向上させる。
• データ駆動型の勾配ベース TopK マスク法により、他のマスキング戦略より優れた有効なスパースパターンを得られる。
• システムレベルの RoSA カーネルはスパースアダプタのバックプロパゲーションをメモリ効率・計算効率良く提供し、従来のスパースカーネルより高速化を達成する。