[論文レビュー] LLaMA-E: Empowering E-commerce Authoring with Object-Interleaved Instruction Following

Kaize Shi, Xueyao Sun+4 more|arXiv (Cornell University)|Aug 9, 2023

Sentiment Analysis and Opinion Mining被引用数 6

ひとこと要約

LLaMA-E は、カスタマー、セラー、プラットフォームの特徴をインタリーブするマルチアスペクトのインstructセットを活用して、eコマースの作成タスクに特化したインstructチューニング済み大規模言語モデルのファミリーです。300組の選別済みインストラクションペアを用いて GPT-3.5-turbo からの distillation を実施したため、広告作成、製品タイトルの再執筆、分類、Q&A においてゼロショットおよびフェイントショット設定で最先端のパフォーマンスを達成しており、ローカル推論によりデータプライバシーを保護しています。

ABSTRACT

E-commerce authoring entails creating engaging, diverse, and targeted content to enhance preference elicitation and retrieval experience. While Large Language Models (LLMs) have revolutionized content generation, they often fall short in e-commerce applications due to their limited memorization of domain-specific features. This paper proposes LLaMA-E, the unified e-commerce authoring models that address the contextual preferences of customers, sellers, and platforms, the essential objects in e-commerce operation. We design the instruction set derived from tasks of ads generation, query-enhanced product title rewriting, product classification, purchase intent speculation, and general e-commerce Q&A. The instruction formulation ensures the interleaved cover of the presented and required object features, allowing the alignment of base models to parameterise e-commerce knowledge comprehensively. The proposed LLaMA-E models achieve state-of-the-art evaluation performance and exhibit the advantage in zero-shot practical applications. To our knowledge, this is the first LLM tailored to empower authoring applications with comprehensive scenario understanding by integrating features focused on participated objects.

研究の動機と目的

• 一般向け LLM が、複数のステークホルダー（カスタマー、セラー、プラットフォーム）を含む複雑でパーソナライズされた eコマース作成タスクを理解する点での限界を是正すること。
• 外部サーバーへの送信を回避し、機微なカスタマー情報を保護するプライバシー保護型でローカルにデプロイ可能な LLM ソリューションを提供すること。
• 広告作成、タイトルの再執筆、意図予測などの多様な eコマース作成タスクを統合的に処理できるように、さまざまな要因をインタリーブするインストラクションによる一元的タスクフォローアップを可能にすること。
• 分野の専門家が作成したシードインストラクションセットを用いて GPT-3.5-turbo からの distillation を実施することで、モデルの汎化性能とパフォーマンスを向上させること。
• eコマース作成分野におけるインストラクションチューニング済み LLM のベンチマークを確立し、定量的および定性的な評価において一般 LLM より優れた性能を示すこと。

提案手法

• 分野の専門家が5つのコア eコマース作成タスク（広告作成、クエリ強化型タイトル再執筆、製品分類、購入意図の推測、Q&A）をカバーする、手作業で選別された300組のインストラクション-出力ペアから成るシードインストラクションセットを作成した。
• GPT-3.5-turbo-301 モデルを教師モデルとして用い、自己指向のプロンプトを適用して拡張されたトレーニングデータを生成することで、インストラクションフォローアップデータセットの規模と多様性を拡大した。
• LLaMA-E モデルは、標準的なインストラクションチューニング技術を用いて、拡張されたインストラクションデータセット上で微調整された。モデルサイズは 7B、13B、30B パラメータである。
• インストラクションセットは、eコマースの3つの主要エージェント（カスタマー、セラー、プラットフォーム）の特徴をインタリーブするように設計されており、文脈理解とタスクの汎化性能を向上させた。
• 評価には自動指標（例：BLEU、ROUGE）と人間による評価（読みやすさ、カバー範囲、魅力的さ）を組み合わせ、未学習のインストラクションを用いたゼロショット一般化性能を検証した。
• トレーニングおよびデプロイメントをローカルで実施することで、機微なカスタマー データを外部サーバーに送信しないようにし、データプライバシーを保護した。

実験結果

リサーチクエスチョン

• RQ1 カスタマー、セラー、プラットフォームの特徴をインタリーブすることで、統合的インストラクションチューニング LLM が多様でマルチアスペクトな eコマース作成タスクを効果的に処理できるか？
• RQ2 分野特化型でマルチアスペクトのインストラクションによるチューニングは、一般 LLM と比較してゼロショット一般化性能をどのように向上させるか？
• RQ3 強力な教師モデル（GPT-3.5）からの distillation は、ローカルデプロイメントによるプライバシー保護を維持したまま、eコマース作成タスクのパフォーマンスをどの程度向上できるか？
• RQ4 LLaMA-E モデルは、一般 LLM（例：T5-base、LLaMA-13/30b）と比較して、説得力があり正確で文脈的に適切な eコマースコンテンツを生成する能力において、どのように差をつけるか？
• RQ5 インストラクションセットに広告作成と説得的表現を組み込むことで、モデルの魅力的でコンversions を最適化したコンテンツ生成能力にどのような影響を与えるか？

主な発見

• LLaMA-E モデルは、広告作成およびタイトル再執筆タスクにおいて、自動評価および人間評価の両方で、T5-base や GPT-Neo、LLaMA-13/30b などの一般 LLM よりも優れたパフォーマンスを示した。
• ゼロショット評価では、LLaMA-E モデルは 'Etsy Stats' が店舗パフォーマンス分析用にプラットフォーム提供のツールであることを正しく特定したが、一般 LLM は一般的または意味的に誤った応答を生成した。
• 人間評価者により、LLaMA-E の出力は、説得的表現（例：'今すぐ注文'）がインストラクションチューニング中に学習されたため、特に広告作成タスクにおいて、ベースラインモデルよりも魅力的で説得力があると評価された。
• LLaMA-E モデルは、より小型でありながらローカルにデプロイされているにもかかわらず、人間評価において GPT-3.5 と競合するパフォーマンスを達成しており、優れた汎化性能と頑健性を示した。
• インストラクションセットの設計（カスタマー、セラー、プラットフォームの特徴をインタリーブ）により、未学習のインストラクションおよびタスクに対しても、モデルは効果的に汎化できた。
• モデルはローカル推論を可能にすることで、プライバシー準拠を強固に実現しており、カスタマー データをリモートサーバーに送信しないようにした。