[論文レビュー] LMFlow: An Extensible Toolkit for Finetuning and Inference of Large Foundation Models

Shizhe Diao, Rui Pan+5 more|arXiv (Cornell University)|Jun 21, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

LMFlowは、大規模な基礎モデルのファインチューニングおよび推論を簡素化する拡張可能で軽量なツールキットであり、継続的プレトレーニング、インstructチューニング、パラメータ効率的適応（LoRA）、および新規のRLHF手法（RAFT）をサポートしています。1台の3090 GPUで7BパラメータのLLaMAモデルを5時間でトレーニング可能であり、特化したタスクにおいてChatGPTと同等またはそれ以上のパフォーマンスを達成しています。

ABSTRACT

Foundation models have demonstrated a great ability to achieve general human-level intelligence far beyond traditional approaches. As the technique keeps attracting attention from the AI community, an increasing number of foundation models are becoming publicly accessible. However, a significant shortcoming of most of these models lies in their performance in specialized-domain and task-specific applications, necessitating domain- and task-aware fine-tuning to develop effective scientific language models. As the number of available foundation models and specialized tasks keeps growing, the job of training scientific language models becomes highly nontrivial. In this paper, we initiate steps to tackle this issue. We introduce an extensible and lightweight toolkit, LMFlow, which aims to simplify the domain- and task-aware finetuning of general foundation models. LMFlow offers a complete finetuning workflow for a foundation model to support specialized training with limited computing resources. Furthermore, it supports continuous pretraining, instruction tuning, parameter-efficient finetuning, alignment tuning, inference acceleration, long context generalization, model customization, and even multimodal finetuning, along with carefully designed and extensible APIs. This toolkit has been thoroughly tested and is available at https://github.com/OptimalScale/LMFlow.

研究の動機と目的

• 多様な特化タスクにおける大規模な基礎モデルのファインチューニングの複雑さに対処すること。
• 計算リソースが限られた研究者や開発者向けに、統合的で拡張可能かつリソース効率の良いツールキットを提供すること。
• 継続的プレトレーニング、インstructチューニング、および人間のフィードバックを用いた強化学習（RLHF）を含む、ファインチューニングパイプライン全体を簡素化すること。
• 質問応答、翻訳、専門家相談などのタスクにおける、限られたハードウェアを用いたパーソナライズドモデルトレーニングを可能にすること。
• シンプルで拡張可能なAPIと自動評価フレームワークを提供し、再現性とアクセス可能性を向上させること。

提案手法

• LMFlowは4段階のファインチューニングワークフローを実装している：ドメイン適応、タスク適応、インstructチューニング、人間のフィードバックを用いた強化学習（RLHF）。
• 低ランク適応（LoRA）によるパラメータ効率的ファインチューニングをサポートし、計算コストとメモリ使用量を削減する。
• 報酬順位付けを用いることで報酬モデリングを回避するという特徴を持つ新規のRLHFアルゴリズム、RAFT（Reward rAnked FineTuning）を導入。
• 「text_only」や「text2text」などの型を備えた標準化されたJSONベースのデータフォーマットを採用し、多様なトレーニングデータをサポートする。
• 簡素化された推論フレームワークを備え、Hugging Faceモデルと統合してシームレスなデプロイを実現。
• 評価には負の対数尤度（NLL）を用い、これは下流タスクの精度と強く相関しており、パープレキシティ（PPL）に内在するバイアスを回避する。

実験結果

リサーチクエスチョン

• RQ1 軽量で拡張可能なツールキットは、多様な特化タスクにおける大規模な基礎モデルのファインチューニングを簡素化できるか？
• RQ2 RAFTアルゴリズムは、生成モデル向けのRLHFプロセスを簡素化し、改善できるか？
• RQ3 LoRAによるパラメータ効率的ファインチューニングは、限られたハードウェア上でもフルファインチューニングと同等のパフォーマンスを達成できるか？
• RQ4 人為のアノテーションなしで、NLLがモデルの能力を信頼できる自動指標として使用できるか？
• RQ5 限られたリソースで1台のGPUでトレーニングされたファインチューニング済みLLaMAモデルの実用的パフォーマンスの上限はどの程度か？

主な発見

• NVIDIA 3090 GPU 1台で70億パラメータのLLaMAモデルをパーソナライズドファインチューニングするのに5時間で完了し、限られたハードウェア上での高い効率性を示している。
• このツールキットは、継続的プレトレーニング、インストラクションチューニング、パラメータ効率的ファインチューニング（LoRA）、RLHFをすべて正常にサポートしており、基礎モデルの完全なカスタマイズを可能にしている。
• LMFlowでファインチューニングされた330億パラメータのLLaMAモデルは、特定のベンチマークでChatGPTと同等またはそれ以上のパフォーマンスを達成している。
• NLL指標は共感的質問応答の精度と強く相関しており、人為的アノテーションなしで信頼できる自動評価指標としての有効性が裏付けられている。
• RAFTベースのRLHFは、強化学習パイプラインを大幅に簡素化しながらも、インストラクションフォローアップおよび対話タスクで高いパフォーマンスを維持している。
• 7B、13B、33B、65BのLLaMAバージョン用にリリースされたモデル重みは、学術的利用のために公開されており、質問応答サービスへの即時デプロイが可能である。