[논문 리뷰] LLaMA-E: Empowering E-commerce Authoring with Object-Interleaved Instruction Following

Kaize Shi, Xueyao Sun외 4명|arXiv (Cornell University)|2023. 08. 09.

Sentiment Analysis and Opinion Mining인용 수 6

한 줄 요약

LLaMA-E는 고객, 판매자, 플랫폼의 특징을 혼합하는 다각도 지시 세트를 활용하여 전자상거래 저작 작업에 특화된 지시 튜닝된 대규모 언어 모델의 가족이다. 수동으로 선별된 300개의 지시 쌍을 기반으로 GPT-3.5-turbo에서 온도 기반 디스틸레이션을 통해 훈련되었으며, 광고 생성, 제품 제목 재작성, 분류, Q&A 등에서 제로샷 및 패스트샷 설정 모두에서 최신 기술 성능(SOTA)을 달성했으며, 현지 추론을 통해 데이터 프라이버시를 유지한다.

ABSTRACT

E-commerce authoring entails creating engaging, diverse, and targeted content to enhance preference elicitation and retrieval experience. While Large Language Models (LLMs) have revolutionized content generation, they often fall short in e-commerce applications due to their limited memorization of domain-specific features. This paper proposes LLaMA-E, the unified e-commerce authoring models that address the contextual preferences of customers, sellers, and platforms, the essential objects in e-commerce operation. We design the instruction set derived from tasks of ads generation, query-enhanced product title rewriting, product classification, purchase intent speculation, and general e-commerce Q&A. The instruction formulation ensures the interleaved cover of the presented and required object features, allowing the alignment of base models to parameterise e-commerce knowledge comprehensively. The proposed LLaMA-E models achieve state-of-the-art evaluation performance and exhibit the advantage in zero-shot practical applications. To our knowledge, this is the first LLM tailored to empower authoring applications with comprehensive scenario understanding by integrating features focused on participated objects.

연구 동기 및 목표

• 고객, 판매자, 플랫폼 등 다수의 이해관계자가 참여하는 복잡하고 개인화된 전자상거래 저작 작업을 이해하는 데에 일반 목적의 LLM이 가지는 한계를 해결하기 위해.
• 원격 데이터 전송을 피하고 민감한 고객 정보를 보호하기 위해 현지에 배포 가능한 프라이버시 보장형 LLM 솔루션을 개발하기 위해.
• 광고 생성, 제목 재작성, 의도 예측 등의 다양한 전자상거래 저작 작업을 통합하여 다중 작업 지시를 수행할 수 있도록, 고객, 판매자, 플랫폼의 특징을 혼합하는 방식으로 지시를 설계하기 위해.
• 분야 전문가가 수작업으로 구성한 시드 지시 세트를 활용해 GPT-3.5-turbo에서 디스틸레이션을 통해 모델 일반화 능력과 성능을 향상시키기 위해.
• 전자상거래 저작 분야의 지시 튜닝된 LLM에 대한 벤치마크를 구축하여, 정량적 및 정성적 평가에서 일반 LLM보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 전자상거래 저작의 핵심 5개 과제(광고 생성, 질의 강화된 제목 재작성, 제품 분류, 구매 의도 추측, Q&A)를 커버하는 도메인 전문가가 수작업으로 선별한 300개의 지시-출력 쌍으로 구성된 시드 지시 세트를 구축했다.
• 확장된 훈련 데이터 확보를 위해 GPT-3.5-turbo-301을 교사 모델로 활용하여 자기 지시 프롬프팅을 통해 데이터 확장 및 다양성 증대를 수행했다.
• 표준 지시 튜닝 기법을 사용해 확장된 지시 데이터셋으로 LLaMA-E 모델(7B, 13B, 30B 파라미터)을 피나이팅했다.
• 지시 세트는 고객, 판매자, 플랫폼의 세 가지 주요 전자상거래 주체의 특징을 혼합하여 설계되어, 맥락 이해력 및 작업 일반화 능력을 향상시켰다.
• 평가에는 자동 평가 지표(BLEU, ROUGE 등)와 독해력, 커버리지, 매력도를 평가하는 인간 평가가 포함되었으며, 제로샷 일반화 능력은 미리보지 않은 지시에 대해 테스트했다.
• 민감한 고객 데이터를 외부 서버로 전송하지 않도록 현지에서 훈련 및 배포함으로써 데이터 프라이버시를 보장했다.

실험 결과

연구 질문

• RQ1 고객, 판매자, 플랫폼의 특징을 혼합하여 다각도 지시를 구현한 통합 지시 튜닝 LLM이 다양한 전자상거래 저작 과제를 효과적으로 처리할 수 있는가?
• RQ2 도메인 특화 다각도 지시를 통한 지시 튜닝이 일반 목적 LLM에 비해 제로샷 일반화 능력을 얼마나 향상시키는가?
• RQ3 강력한 교사 모델(GPT-3.5)에서 디스틸레이션을 통해 성능을 향상시킬 수 있는가? 이때 현지 배포를 통해 프라이버시를 유지할 수 있는가?
• RQ4 LLaMA-E 모델은 일반 LLM(T5-base, LLaMA-13/30b 등)에 비해 얼마나 설득력 있고 정확하며 맥락에 부합하는 전자상거래 콘텐츠를 생성하는가?
• RQ5 지시 세트에 광고 생성 및 설득적 언어를 포함함으로써 모델이 매력적이고 전환 최적화된 콘텐츠를 얼마나 잘 생성하는가?

주요 결과

• LLaMA-E 모델은 광고 생성 및 제목 재작성 과제에서 자동 평가 및 인간 평가 모두에서 T5-base, GPT-Neo, LLaMA-13/30b 등 일반 목적 LLM보다 뛰어난 성능을 보였다.
• 제로샷 평가에서 LLaMA-E 모델은 'Etsy Stats'가 상점 성과 분석을 위한 플랫폼 제공 도구임을 정확히 식별했으며, 일반 LLM은 일반적이거나 의미적으로 잘못된 응답을 생성했다.
• 인간 평가자들은 LLaMA-E 출력물이 광고 생성 과제에서 특히 설득력 있고 매력적으로 평가했으며, 지시 튜닝 과정에서 학습된 '지금 주문하세요'와 같은 설득적 표현 덕분이었다.
• LLaMA-E 모델은 더 작고 현지에서 배포되었음에도 불구하고 인간 평가에서 GPT-3.5와 경쟁 가능한 성능을 보였으며, 강력한 일반화 능력과 내구성을 입증했다.
• 고객, 판매자, 플랫폼의 특징을 혼합하는 지시 세트 설계 덕분에 모델은 새로운 지시 및 과제에 효과적으로 일반화할 수 있었다.
• 현지 추론을 통해 고객 데이터를 외부 서버로 전송하지 않아 프라이버시 준수 능력이 뛰어났다.