[論文レビュー] Enhancing Chat Language Models by Scaling High-quality Instructional Conversations

Ning Ding, Yulin Chen+7 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文では、人間のクエリを一切使用せずに、反復的でGPT-4駆動のシミュレーションによって生成された150万件のマルチターン指導会話からなる大規模かつ多様性に富み、高品質なデータセット「UltraChat」を紹介する。UltraChatでLLaMA-13Bをファインチューニングすることで得られるUltraLLaMAは、GPT-4による平均スコア9.023 ± 0.952を記録し、Vicunaを含む、これまでのすべてのオープンソースモデルを上回る性能を発揮した。

ABSTRACT

Fine-tuning on instruction data has been widely validated as an effective practice for implementing chat language models like ChatGPT. Scaling the diversity and quality of such data, although straightforward, stands a great chance of leading to improved performance. This paper aims to improve the upper bound of open-source models further. We first provide a systematically designed, diverse, informative, large-scale dataset of instructional conversations, UltraChat, which does not involve human queries. Our objective is to capture the breadth of interactions that a human might have with an AI assistant and employs a comprehensive framework to generate multi-turn conversation iteratively. UltraChat contains 1.5 million high-quality multi-turn dialogues and covers a wide range of topics and instructions. Our statistical analysis of UltraChat reveals its superiority in various key metrics, including scale, average length, diversity, coherence, etc., solidifying its position as a leading open-source dataset. Building upon UltraChat, we fine-tune a LLaMA model to create a powerful conversational model, UltraLLaMA. Our evaluations indicate that UltraLLaMA consistently outperforms other open-source models, including Vicuna, the previously recognized state-of-the-art open-source model. The dataset and the model will be publicly released\footnote{\url{https://github.com/thunlp/UltraChat}}.

研究の動機と目的

• オープンソースのチャット言語モデルの性能の限界を克服するため、高品質で多様な指導データをスケーリングすること。
• 人間がアノテートしたクエリを一切使用せずに、現実的でマルチターンの指導会話を体系的かつ自動的に生成するフレームワークの開発。
• 現在の最先端技術を上回る指令追従性と会話の質を実現するオープンソースデータセットおよびモデルの構築。
• 従来の指令チューニング手法を越えて、データの品質と多様性がモデル性能に与える影響を調査すること。

提案手法

• 人間-AI対話のタイプを広くカバーするため、世界知識、生成/創造、資料支援の3セクターからなるフレームワークを設計した。
• 2つのGPT-4 Turbo APIを反復的で役割を入れ替えながら使用：一方をシミュレーテッドユーザー（クエリ生成）、他方をアシスタント（応答生成）として設定。
• 文脈内プロンプト、メタ情報の埋め込み、反復的改善を用いて、対話のスケーリングと品質・多様性の向上を実現。
• 強力な一貫性、適切な長さ、トピックの多様性を備えた150万件の高品質でマルチターンの対話を生成。
• UltraChatでLLaMA-13Bモデルをファインチューニングし、UltraLLaMAを訓練。指令追従性と会話のなめらかさを最適化。
• GPT-4を用いた自動スコア評価と好みの比較を通じて、信頼性の高い人間の価値観に一致する性能評価を実施。

実験結果

リサーチクエスチョン

• RQ1 高品質で多様な指導会話データをスケーリングすることで、現在のSOTAを上回る性能を発揮するオープンソースLLMの性能向上が著しく達成可能か？
• RQ2 合成された指導データの品質と構造は、人間がアノテートしたデータと比較して、効果的なチャットモデルの訓練にどの程度適しているか？
• RQ3 反復的でGPTを駆動とするデータ生成は、一貫性があり、多様で現実的なマルチターン対話をどの程度生み出せるか？
• RQ4 システムプロンプトの設計は、指令チューニングモデルの応答の情報量と品質にどの程度影響を与えるか？
• RQ5 人間がアノテートしていない合成データセットでファインチューニングされたモデルは、キュレートされた人間によるアノテート済み指令データで訓練されたモデルを上回る性能を発揮できるか？

主な発見

• UltraLLaMAはGPT-4による平均スコア9.023 ± 0.952を達成し、Vicuna（8.961 ± 0.718）および他のすべてのオープンソースモデルを上回った。
• UltraLLaMAはTruthfulQAベンチマークでもVicunaと同等または上回り、複数選択形式のタスクで54％の正答率を記録した。
• 特に困難な常識的・世界知識関連の質問において、複雑な推論力と事実の整合性に優れた性能を示した。
• システムプロンプトの導入により、事実の正確性に影響を与えずに応答の情報量が著しく向上することが、プロンプト有無の比較出力から明らかになった。
• スケール、平均対話長、多様性、一貫性の点で、UltraChatは既存のデータセットを上回り、先駆的で優れたオープンソースリソースとして確立された。
• 強力な性能を発揮しているものの、UltraLLaMAは依然として大規模言語モデルに共通する幻覚や倫理的リスクを示しており、トレーニングは依然として計算コストが高価である。