[論文レビュー] SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence Understanding
SeqGPT は、オープンドメインの自然言語理解（NLU）タスク向けに微調整された、英語／中国語の二言語対応のオープンソース自己回帰型言語モデルである。2つの原子的タスクを固定された入出力フォーマットで定義し、GPTが生成した合成データを用いた指示微調整と、152の多様なNLUデータセットにおけるさらなる微調整により訓練されている。これにより、イベント抽出やエンティティタイプ指定などの未学習ドメインやタスクにおいても優れたゼロショット性能を達成している。
Large language models (LLMs) have shown impressive ability for open-domain NLP tasks. However, LLMs are sometimes too footloose for natural language understanding (NLU) tasks which always have restricted output and input format. Their performances on NLU tasks are highly related to prompts or demonstrations and are shown to be poor at performing several representative NLU tasks, such as event extraction and entity typing. To this end, we present SeqGPT, a bilingual (i.e., English and Chinese) open-source autoregressive model specially enhanced for open-domain natural language understanding. We express all NLU tasks with two atomic tasks, which define fixed instructions to restrict the input and output format but still ``open'' for arbitrarily varied label sets. The model is first instruction-tuned with extremely fine-grained labeled data synthesized by ChatGPT and then further fine-tuned by 233 different atomic tasks from 152 datasets across various domains. The experimental results show that SeqGPT has decent classification and extraction ability, and is capable of performing language understanding tasks on unseen domains. We also conduct empirical studies on the scaling of data and model size as well as on the transfer across tasks. Our model is accessible at https://github.com/Alibaba-NLP/SeqGPT.
研究の動機と目的
- 構造的出力への従順性の低さとプロンプト工学への依存性により、大規模言語モデル（LLM）が自然言語理解（NLU）タスクで発揮する限界を是正すること。
- イベント抽出やエンティティタイプ指定などのタスクにおいて、性能が一貫しないゼロショットおよびフェイワショットLLMの欠陥を克服すること。
- 最小限のプロンプト工学で多様なNLUタスクに一般化可能な、包括的でオープンソースのモデルを開発すること。
- 多様で高品質な合成データと実世界のNLUデータを活用して、未学習ドメインにおけるゼロショットおよびフェイワショット性能を向上させること。
- 固定された入出力テンプレートを持つ原子的タスク定式化を通じて、NLUタスクのための統一的で標準化されたインターフェースを提供すること。
提案手法
- すべてのNLUタスクを、固定された入出力フォーマットを持つ2つの原子的タスクに定式化することで、モデルの挙動を標準化しつつ、任意のラベルセットの柔軟性を維持する。
- GPT-3.5（ChatGPT）を用いて、オープンドメインのシナリオにふさわしいリアルなラベルとアノテーションを備えた、80万件を超える高品質で多様な合成NLUデータを生成する。
- NER、関係抽出、テキスト分類、機械的読解理解など、11のNLUタスクをカバーする152のデータセット上で、ベースのBLOOMZモデルを微調整する。
- 2段階の訓練プロセスを採用する：まず合成データを用いた指示微調整により一般化性能を向上させ、次に実データセットを用いた微調整によりタスク固有の精度を向上させる。
- 全タスクにわたって一貫したプロンプトテンプレートを用いることで、モデルの一貫性を確保し、タスク固有のプロンプト工学への依存度を低減する。
- 二言語（英語／中国語）のデータを活用して、1つの統一モデル内で多言語NLU機能を実現する。
実験結果
リサーチクエスチョン
- RQ1中程度のサイズの言語モデルが、タスク固有のプロンプト工学なしに、多様なオープンドメインNLUタスクにおいて優れたゼロショットおよびフェイワショット性能を発揮できるか？
- RQ2高多様性の合成データを用いた指示微調整は、標準的な微調整と比較して、NLUにおける一般化性能とゼロショット転送性能をどのように向上させるか？
- RQ3モデルサイズと訓練データ量の拡大が、複数のNLUタスクおよびドメインにおいて性能に与える影響はどの程度か？
- RQ4固定された入出力テンプレートを持つ統一的・原子的タスク定式化は、多様なNLUタスクにおいて一貫して正しい構造的出力を生成するように言語モデルを誘導できるか？
- RQ5特にリソースが限られた状況において、モデルは未学習ドメインやタスクへの知識転送をどの程度効果的に実行できるか？
主な発見
- SeqGPT は、未学習のNLUタスク、特にイベント抽出やエンティティタイプ指定において、出力形式への従順性が優れている点で、GPT-3.5 などの標準LLMを上回るゼロショット性能を達成している。
- 152の多様なデータセット（11のNLUタスクをカバー）にわたる、低リソースおよびドメイン外設定においても、モデルは強固なゼロショット一般化性能を示している。
- 152のデータセットから得た233の原子的タスクに対する微調整により、ゼロショットまたはフェイワショットベースラインと比較して性能が顕著に向上しており、特に分類および抽出タスクで顕著である。
- 合成データを用いた指示微調整と、その後の実データを用いた微調整という2段階の訓練戦略が、より優れた一般化性能と一貫性のある出力フォーマットをもたらしている。
- 実証的分析から、データの多様性はデータ量そのものよりもNLU性能向上に寄与する上で重要であることが示され、豊富なラベルバリエーションを備えた合成データの価値が裏付けられている。
- CAAI、TNEWS、WikiQA などのベンチマークでも、SeqGPT は競争力ある結果を達成しており、特に構造的出力タスクにおいて、より大きなモデルと同等またはそれ以上の性能を示している。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。