[논문 리뷰] EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce

Yangning Li, Shirong Ma외 7명|arXiv (Cornell University)|2023. 08. 14.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 제품 정보 및 리뷰와 같은 원자적 전자상거래 데이터 유형을 기반으로 한 태스크 체인(Chain-of-Task, CoT) 작업을 활용해 250만 건의 샘플을 포함하는 전자상거래를 위한 지침 튜닝 데이터셋인 EcomInstruct를 소개한다. EcomInstruct로 BLOOMZ를 미세조정한 결과 EcomGPT를 얻었으며, CoT 훈련으로 인한 의미적 이해력 향상 덕분에 Ecom 기준 벤치마크에서 제로샷 다중 데이터셋 및 다중 작업 일반화 성능에서 ChatGPT를 능가한다.

ABSTRACT

Recently, instruction-following Large Language Models (LLMs) , represented by ChatGPT, have exhibited exceptional performance in general Natural Language Processing (NLP) tasks. However, the unique characteristics of E-commerce data pose significant challenges to general LLMs. An LLM tailored specifically for E-commerce scenarios, possessing robust cross-dataset/task generalization capabilities, is a pressing necessity. To solve this issue, in this work, we proposed the first e-commerce instruction dataset EcomInstruct, with a total of 2.5 million instruction data. EcomInstruct scales up the data size and task diversity by constructing atomic tasks with E-commerce basic data types, such as product information, user reviews. Atomic tasks are defined as intermediate tasks implicitly involved in solving a final task, which we also call Chain-of-Task tasks. We developed EcomGPT with different parameter scales by training the backbone model BLOOMZ with the EcomInstruct. Benefiting from the fundamental semantic understanding capabilities acquired from the Chain-of-Task tasks, EcomGPT exhibits excellent zero-shot generalization capabilities. Extensive experiments and human evaluations demonstrate that EcomGPT outperforms ChatGPT in term of cross-dataset/task generalization on E-commerce tasks.

연구 동기 및 목표

• 일반 목적 LLM의 전자상거래 작업에서의 낮은 일반화 성능을 해결하기 위해 고유한 문법적 구조와 동적 엔티티의 영향을 다루기 위해.
• 전자상거래 NLP 작업의 복잡성과 다양성을 반영한 도메인 특화 지침 튜닝 데이터셋을 개발하기 위해.
• 핵심 전자상거래 데이터 유형에서 유도된 원자적 중간 작업으로서의 태스크 체인(Chain-of-Task, CoT) 작업을 설계하고 검증하기 위해.
• 다양한 전자상거래 데이터셋과 작업에서 뛰어난 제로샷 일반화 성능을 달성하는 전문 LLM인 EcomGPT를 훈련하고 평가하기 위해.
• CoT 기반 지침 튜닝이 수직 도메인에서 다중 데이터셋 및 다중 작업 일반화에 크게 기여함을 입증하기 위해.

제안 방법

• 오픈소스 전자상거래 NLP 데이터셋과 핵심 전자상거래 데이터 유형(예: 제품 속성, 사용자 리뷰 등)에서 유도된 원자적 CoT 작업을 기반으로 EcomInstruct를 구성하기 위해.
• 태스크 체인(Chain-of-Task, CoT) 작업을 최종 전자상거래 작업을 해결하는 데 암묵적으로 기여하는 의미적으로 기반을 둔 중간 단계의 하위 작업으로 정의하기 위해.
• 지시 튜닝 파ragm을 사용해 EcomInstruct 데이터셋으로 BLOOMZ 기반 모델을 미세조정함으로써 EcomGPT를 훈련하기 위해.
• Hold-in 평가 및 아블레이션 연구를 통해 데이터셋, 작업, 작업 파ragm 수준에서 CoT 데이터의 기여도를 분리 분석하기 위해.
• 자동 평가 지표(F1, Rouge)와 인간 평가를 병행해 미리 보지 않은 데이터셋과 작업에서의 제로샷 일반화 성능을 평가하기 위해.
• 아블레이션 분석을 통해 특정 데이터셋, 작업 또는 작업 파ragm과 연관된 CoT 데이터를 제거했을 때의 영향을 평가하기 위해.

실험 결과

연구 질문

• RQ1 전자상거래 데이터 유형에서 유도된 CoT 작업을 활용한 지시 튜닝이 전자상거래 NLP 작업에서의 제로샷 일반화 성능을 크게 향상시키는가?
• RQ2 다양한 데이터셋에서 유도된 CoT 데이터의 포함 여부가 새로운 데이터셋에서의 모델 일반화 성능에 어떤 영향을 미치는가?
• RQ3 다양한 작업 유형(예: 질의응답(QA), 명명된 실체 인식(NER), 분류)에서 유도된 CoT 작업이 관련은 있지만 서로 다른 작업으로의 일반화에 얼마나 기여하는가?
• RQ4 작업 파ragm 수준(예: 분류 vs. 생성)이 CoT 데이터의 이식성과 이점에 영향을 미치는가?
• RQ5 EcomGPT는 일반 목적 LLM인 ChatGPT와 비교해 전자상거래 벤치마크에서 다중 데이터셋 및 다중 작업 일반화 성능에서 어떻게 다른가?

주요 결과

• EcomGPT는 ChatGPT보다 다중 데이터셋 및 다중 작업 일반화 성능에서 뛰어나, 아블레이션 설정에서 미리 보지 않은 데이터셋에서 평균 F1 점수 65.74%를 기록했고, ChatGPT는 64.41%를 기록했다.
• 아블레이션 연구 결과, Ecom 데이터셋의 CoT 데이터를 제거하면 평균 F1 점수가 1.02% 감소함을 확인했으며, 이는 CoT 데이터가 일반화 성능에 핵심적인 역할을 함을 시사한다.
• 동일한 데이터 유형에서 유도된 CoT 작업(예: Ecom과 Youku의 제품 제목)은 상호 이득을 보였지만, 다른 유형에서 유도된 작업(예: CCKS와 JDDC)은 그러한 이득이 없었다.
• 질의응답(QA)과 관련된 CoT 작업이 다른 작업으로의 일반화에 가장 강력한 향상을 보였으며, 이는 QA가 지시 따르기 모델에 있어 강력한 추상화 도구임을 시사한다.
• 작업 파ragm 수준에서 분류 작업에서 유도된 CoT 작업은 자신의 파ragm보다 다른 파ragm에 더 큰 기여를 하며, 이는 매우 높은 이식성의 가능성을 보여준다.
• 인간 평가 결과, EcomGPT는 구조적 속성에서부터 일관된 제품 제목을 생성하는 등 복잡하고 엔티티가 풍부한 전자상거래 텍스트를 다루는 데서 우수한 성능을 보였다.