[論文レビュー] Cappy: Outperforming and Boosting Large Multi-Task LMs with a Small Scorer

Bowen Tan, Yun Zhu+4 more|arXiv (Cornell University)|Nov 12, 2023

Topic Modeling被引用数 4

ひとこと要約

Cappy は 360M パラメータの事前学習スコアラーであり、指示に対する候補応答をスコアリングすることで、微調整を必要とせずに大規模なマルチタスク言語モデル（LLMs）の性能を向上させる。Cappy は 11 個の分類タスクではるかに大きな LLM よりも優れた性能を示し、FLAN-T5 の 45 個の複雑な BIG-Bench タスクにおける性能を顕著に向上させる。これは、効率的でパラメータ効率の良い応答選択により実現される。

ABSTRACT

Large language models (LLMs) such as T0, FLAN, and OPT-IML, excel in multi-tasking under a unified instruction-following paradigm, where they also exhibit remarkable generalization abilities to unseen tasks. Despite their impressive performance, these LLMs, with sizes ranging from several billion to hundreds of billions of parameters, demand substantial computational resources, making their training and inference expensive and inefficient. Furthermore, adapting these models to downstream applications, particularly complex tasks, is often unfeasible due to the extensive hardware requirements for finetuning, even when utilizing parameter-efficient approaches such as prompt tuning. Additionally, the most powerful multi-task LLMs, such as OPT-IML-175B and FLAN-PaLM-540B, are not publicly accessible, severely limiting their customization potential. To address these challenges, we introduce a pretrained small scorer, Cappy, designed to enhance the performance and efficiency of multi-task LLMs. With merely 360 million parameters, Cappy functions either independently on classification tasks or serve as an auxiliary component for LLMs, boosting their performance. Moreover, Cappy enables efficiently integrating downstream supervision without requiring LLM finetuning nor the access to their parameters. Our experiments demonstrate that, when working independently on 11 language understanding tasks from PromptSource, Cappy outperforms LLMs that are several orders of magnitude larger. Besides, on 45 complex tasks from BIG-Bench, Cappy boosts the performance of the advanced multi-task LLM, FLAN-T5, by a large margin. Furthermore, Cappy is flexible to cooperate with other LLM adaptations, including finetuning and in-context learning, offering additional performance enhancement.

研究の動機と目的

• 下流タスクにおける大規模なマルチタスク LLM の微調整にかかる高コストで非効率な計算負荷を軽減すること。
• パラメータへのアクセスが不可能な強力なが、微調整を必要とせずに性能を向上させること。
• 独立して使用可能であるか、LLM と連携して使用可能な、軽量で効率的かつ柔軟なコンponentを開発すること。
• LLM が生成する正誤スコアを用いて弱教師ありの事前学習データ構築法を考案し、回帰的訓練に適したスコアラーを学習すること。

提案手法

• Cappy は、与えられた（指示、応答）ペアに対して正誤スコア（0〜1）を予測するように学習された、RoBERTa をベースとする 360M パラメータのモデルである。
• 弱教師ありのデータ構築パイプラインを用いる：既存のマルチタスク LLM が応答を生成し、Rouge-L スコアが弱教師ありのラベルとして用いられる。
• 事前学習データは、既存の LLM を用いたデータ拡張により構築され、事前学習データセットから多様な（指示、応答、スコア）三元組が生成される。
• Cappy は候補選択パラダイムに従う：与えられた指示に対して、複数の候補応答をスコアリングし、最も高いスコアを持つものを選択する。
• 分類タスクに独立して使用可能であり、微調整なしに LLM の性能を向上させる補助的コンponentとしても利用可能である。
• インライン学習や微調整などの他の適応技術とも互換性があり、さらなる性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 小さな軽量スコアラーは、ゼロショット分類タスクにおいて、はるかに大きなマルチタスク LLM よりも優れた性能を示せるか？
• RQ2 パラメータの更新なしに、大きなマルチタスク LLM の性能を、複雑で未学習のタスクにおいて効果的に向上させられるか？
• RQ3 LLM が生成する応答と Rouge-L スコアを用いた弱教師あり学習は、高性能な正誤スコアラーの学習に効果的か？
• RQ4 このスコアラーは、インライン学習や微調整などの他の LLM 適応戦略と柔軟に統合可能か？

主な発見

• Cappy は PromptSource に含まれる 11 個の言語理解タスクにおいて、はるかに大きなマルチタスク LLM よりも高い正確性を達成し、規模が桁違いに小さいにもかかわらず優れた性能を示した。
• BIG-Bench の 45 個の複雑なタスクにおいて、Cappy は FLAN-T5 の性能を顕著に向上させたが、LLM の微調整は一切不要であった。
• アブレーションスタディの結果、継続的事前学習と LLM を用いたデータ拡張の両方が Cappy の性能に不可欠であり、特にデータ拡張の影響が顕著であった。
• Cappy はインライン学習や微調整などの他の適応手法と組み合わせることで性能を向上させ、その相互運用性と拡張性を示した。
• Rouge-L を弱教師ありの指標として用いることは有効ではあるが、完璧ではない。今後の研究では、マルチタスク環境に適したより優れた正誤指標の探索が期待される。