[論文レビュー] EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce

Yangning Li, Shirong Ma+7 more|arXiv (Cornell University)|Aug 14, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、製品情報やレビューなどの原子的な電子商取引データ型に基づいて、タスクの連鎖（CoT）タスクを用いた250万件のサンプルから構成される指令微調整データセットEcomInstructを紹介する。EcomInstructでBLOOMZを微調整することで得られるEcomGPTは、電子商取引ベンチマークにおいて、CoTトレーニングによる意味的理解の向上のおかげで、ゼロショットのデータセット間およびタスク間一般化においてChatGPTを上回る性能を発揮する。

ABSTRACT

Recently, instruction-following Large Language Models (LLMs) , represented by ChatGPT, have exhibited exceptional performance in general Natural Language Processing (NLP) tasks. However, the unique characteristics of E-commerce data pose significant challenges to general LLMs. An LLM tailored specifically for E-commerce scenarios, possessing robust cross-dataset/task generalization capabilities, is a pressing necessity. To solve this issue, in this work, we proposed the first e-commerce instruction dataset EcomInstruct, with a total of 2.5 million instruction data. EcomInstruct scales up the data size and task diversity by constructing atomic tasks with E-commerce basic data types, such as product information, user reviews. Atomic tasks are defined as intermediate tasks implicitly involved in solving a final task, which we also call Chain-of-Task tasks. We developed EcomGPT with different parameter scales by training the backbone model BLOOMZ with the EcomInstruct. Benefiting from the fundamental semantic understanding capabilities acquired from the Chain-of-Task tasks, EcomGPT exhibits excellent zero-shot generalization capabilities. Extensive experiments and human evaluations demonstrate that EcomGPT outperforms ChatGPT in term of cross-dataset/task generalization on E-commerce tasks.

研究の動機と目的

• 一般向け大規模言語モデル（LLM）が、固有の文法構造と動的エンティティを有する電子商取引タスクにおいて一般化性能に欠ける問題に対処するため。
• 電子商取引NLPタスクの複雑さと多様性を捉えたドメイン特化型の指令微調整データセットを開発するため。
• コアとなる電子商取引データ型（例：製品属性、ユーザーレビュー）から導出される原子的中間タスクとしてのタスクの連鎖（CoT）タスクを設計・検証するため。
• 多様な電子商取引データセットおよびタスクにおいて優れたゼロショット一般化性能を達成する専用LLM、EcomGPTの訓練と評価を行うため。
• CoTベースの指令微調整が、垂直分野におけるデータセット間およびタスク間一般化を顕著に向上させることを示すため。

提案手法

• オープンソースの電子商取引NLPデータセットと、基本的な電子商取引データ型（例：製品属性、ユーザーレビュー）から導出された原子的CoTタスクの2つのソースからEcomInstructを構築する。
• タスクの連鎖（CoT）タスクを、最終的な電子商取引タスクを解消するために暗黙的に支援する、意味的に根拠を持つ中間タスクとして定義する。
• 指令微調整のパラダイムを用いて、EcomInstructデータセット上でBLOOMZのバックボーンモデルを微調整することでEcomGPTを訓練する。
• ホールドイン評価とアブレーションスタディを用いて、データセットレベル、タスクレベル、タスクパラダイムレベルでのCoTデータの寄与を分離する。
• 自動評価指標（F1、Rouge）と人的評価を併用して、未観測のデータセットおよびタスクにおけるゼロショット一般化を評価する。
• アブレーション分析を用いて、特定のデータセット、タスク、またはタスクパラダイムに関連するCoTデータを削除した場合の影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 電子商取引データ型から導出されたCoTタスクを用いた指令微調整が、電子商取引NLPタスクにおけるゼロショット一般化を顕著に向上させるか？
• RQ2 異なるデータセットからのCoTデータの統合が、未観測のデータセットにおけるモデルの一般化性能にどのように影響するか？
• RQ3 異なるタスクタイプ（例：質問応答（QA）、名前付きエンティティ認識（NER）、分類）からのCoTタスクは、関連するが異なるタスクへの一般化にどの程度寄与するか？
• RQ4 タスクパラダイムレベル（例：分類対比生成）が、CoTデータの転送性と利点に影響を与えるか？
• RQ5 EcomGPTは、一般向けLLM（例：ChatGPT）と比較して、電子商取引ベンチマークにおけるデータセット間およびタスク間一般化でどのように性能を発揮するか？

主な発見

• EcomGPTは、データセット間およびタスク間一般化においてChatGPTを上回り、未学習データセットにおける平均F1スコアが65.74%に達したのに対し、ChatGPTはアブレーション設定で64.41%であった。
• アブレーションスタディの結果、EcomデータセットからのCoTデータを削除すると平均F1スコアが1.02%低下し、一般化性能におけるその重要性が示された。
• 同じデータ型（例：EcomとYoukuの製品タイトル）からのCoTタスクは相互に利益をもたらすが、異なるタイプ（例：CCKSとJDDC）からのタスクはその恩恵を享受しない。
• QA関連のCoTタスクは、他のタスクへの一般化に最も顕著な向上効果を示し、QAが指令従い型モデルにとって強力な抽象化である可能性を示唆している。
• タスクパラダイムレベルでは、分類タスクからのCoTタスクが、自らのパラダイムよりも他のパラダイムへの利益をもたらすことが多く、高い転送性を示している。
• 人的評価により、EcomGPTが構造化された属性から一貫性のある製品タイトルを生成するなど、複雑でエンティティが豊富な電子商取引テキストを優れて処理できることを確認した。