[論文レビュー] Improving Large Models with Small models: Lower Costs and Better Performance

Chen Dong, Shuo Zhang+5 more|arXiv (Cornell University)|Jun 15, 2024

Scientific Computing and Data ManagementDecision Sciences被引用数 3

ひとこと要約

本稿では、予測信頼度に基づいて簡単な入力を小さなモデルにオフロードすることで、大規模言語モデル（LLMs）の性能を向上させる共同フレームワークであるData Shunt+（DS+）を提案する。アマゾンの感情分析タスクにおいて、ChatGPT単体の94.43%から95.64%へと精度を向上させるとともに、LLMの推論コストを68.82%削減した。動的ルーティングと知識蒸留を活用することで、コスト効率が高く、性能が向上した推論を実現する。

ABSTRACT

Pretrained large models (PLMs), such as ChatGPT, have demonstrated remarkable performance across diverse tasks. However, the significant computational requirements of PLMs have discouraged most product teams from running or fine-tuning them. In such cases, to harness the exceptional performance of PLMs, one must rely on expensive APIs, thereby exacerbating the economic burden. Despite the overall inferior performance of small models, in specific distributions, they can achieve comparable or even superior results. Consequently, some input can be processed exclusively by small models. On the other hand, certain tasks can be broken down into multiple subtasks, some of which can be completed without powerful capabilities. Under these circumstances, small models can handle the simple subtasks, allowing large models to focus on challenging subtasks, thus improving the performance. We propose Data Shunt$^+$ (DS$^+$), a general paradigm for collaboration of small and large models. DS$^+$ not only substantially reduces the cost associated with querying large models but also effectively improves large models' performance. For instance, ChatGPT achieves an accuracy of $94.43\%$ on Amazon Product sentiment analysis, and DS$^+$ achieves an accuracy of $95.64\%$, while the cost has been reduced to only $31.18\%$. Besides, experiments also prove that the proposed collaborative-based paradigm can better inject specific task knowledge into PLMs compared to fine-tuning.

研究の動機と目的

• 実際の製品展開における大規模事前学習言語モデル（PLMs）の高い推論コストを低減すること。
• 容易で分布に適合する入力に対して、特化した小さなモデルを活用することで、大規模モデルの性能を向上させること。
• 高価なPLM API に依存せずに、小さなモデルと大きなモデルの間で効率的な協働を可能にすること。
• 標準的な微調整よりも、タスク固有の知識を大規模モデルに効果的に統合すること。

提案手法

• DS+は信頼度しきい値を用いて入力をルーティングする：小さなモデルの予測信頼度がしきい値δを超える場合、入力は単に小さなモデルで処理される。そうでない場合は、大きなモデルに送られる。
• S4L（Small Model for Large Model）モジュールでは、プロンプトプリーニング（PP）が、小さなモデルの出力に基づいて、プロンプトから低信頼度クラスを削除することで、大きなモデルの予測空間を最適化する。
• S4Lにおけるプロンプト転送（PT）は、小さなモデルが良好に機能する領域に焦点を当てるように入力プロンプトを変更することで、小さなモデルから大きなモデルへの知識転送を実現する。
• L4S（Large Model for Small Model）モジュールでは、2段階信頼度蒸留（2CD）が、微調整中のカスケード的忘却を防ぐために、大きなモデルから小さなモデルへの知識転送を実施する。
• フレームワークは信頼度しきい値δのチューニングにより、コストとパフォーマンスのバランスを動的に調整でき、高性能な小さなモデルでは最適な値が[0.97, 0.99]の範囲に位置することが判明した。
• 本手法は、テキスト分類やその他のNLPベンチマークでも示されるように、モダリティやタスクに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 小さなモデルの信頼度に基づいた入力ルーティングは、推論コストを削減しつつ、大規模モデルの性能を向上させることができるか？
• RQ2 分布ベースまたは予測ベースのルーティングと比較して、信頼度ベースのシャントリングは、精度とコストの観点でどのように異なるか？
• RQ3 大規模モデルからの知識蒸留により、ハードサンプルにおける小さなモデルの性能が向上し、過学習を引き起こさないか？
• RQ4 DS+フレームワークにおいて、コスト削減とパフォーマンス向上のバランスを最適化するための最適な信頼度しきい値δは何か？
• RQ5 DS+フレームワークは、標準的な微調整に比べて、大規模モデルへのタスク固有の知識の統合をより効果的に行えるか？

主な発見

• DS+は、アマゾン製品の感情分析タスクにおいて、ChatGPTの精度を94.43%から95.64%まで向上させ、1.21%の性能向上を達成した。
• DS+を用いることで、大規模モデルのクエリコストは元の31.18%まで低下し、推論コストは68.82%削減された。
• より高いパフォーマンスを示す小さなモデル（例：微調整済みBERT）では、最適な信頼度しきい値δは0.85まで低下するが、性能が低いモデル（例：LSTM）ではδが0.97以上である必要がある。
• δを0.97から0.99に引き上げた場合、LSTMを用いたDS+の精度はわずかに向上（94.20%から94.45%）したが、大規模モデルで処理されるサンプルの割合は54.66%から80.00%に上昇した。
• 信頼度ベースのシャントリングは、分布ベースおよび予測ベースのルーティング手法を上回り、後者では僅かな向上と高い不安定性が見られた。
• 高い分布内精度を示す小さなモデルを用いた場合、DS+フレームワークは大規模モデル単体よりも優れた性能を達成した。これは、協働が耐性と効率性を向上させることを証明している。