[논문 리뷰] SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence Understanding

Tianyu Yu, Chengyue Jiang외 13명|arXiv (Cornell University)|2023. 08. 21.

Topic ModelingComputer Science인용 수 3

한 줄 요약

SeqGPT는 개방형 도메인 자연어 이해 작업을 위한 양방향(영어/중국어) 오픈소스 자동회귀 언어 모델이다. 고정된 입력-출력 형식을 가진 두 가지 원자적 작업을 사용하며, GPT가 생성한 합성 데이터를 통한 지시 훈련과 함께 152개의 다양한 NLU 데이터셋으로 추가 훈련하여, 사전에 알려지지 않은 도메인과 작업에 대해 강력한 제로샷 성능을 달성한다. 이는 이벤트 추출 및 엔티티 타이핑을 포함하여 성능이 뛰어나다.

ABSTRACT

Large language models (LLMs) have shown impressive ability for open-domain NLP tasks. However, LLMs are sometimes too footloose for natural language understanding (NLU) tasks which always have restricted output and input format. Their performances on NLU tasks are highly related to prompts or demonstrations and are shown to be poor at performing several representative NLU tasks, such as event extraction and entity typing. To this end, we present SeqGPT, a bilingual (i.e., English and Chinese) open-source autoregressive model specially enhanced for open-domain natural language understanding. We express all NLU tasks with two atomic tasks, which define fixed instructions to restrict the input and output format but still ``open'' for arbitrarily varied label sets. The model is first instruction-tuned with extremely fine-grained labeled data synthesized by ChatGPT and then further fine-tuned by 233 different atomic tasks from 152 datasets across various domains. The experimental results show that SeqGPT has decent classification and extraction ability, and is capable of performing language understanding tasks on unseen domains. We also conduct empirical studies on the scaling of data and model size as well as on the transfer across tasks. Our model is accessible at https://github.com/Alibaba-NLP/SeqGPT.

연구 동기 및 목표

• 구조화된 출력 형식을 잘 지키지 못하고 프롬프트 엔지니어링에 의존하는 대규모 언어 모델(LM)의 자연어 이해(NLU) 작업에서의 한계를 해결한다.
• 이벤트 추출 및 엔티티 타이핑과 같은 작업에서 성능이 일관되지 못하는 제로샷 및 피셔샷 LLM의 단점을 극복한다.
• 최소한의 프롬프트 엔지니어링으로 다양한 NLU 작업에 일반화할 수 있는 다재다능한 오픈소스 모델을 개발한다.
• 다양하고 고품질의 합성 및 실제 NLU 데이터를 활용하여, 사전에 알려지지 않은 도메인에서 제로샷 및 피셔샷 성능을 향상시킨다.
• 고정된 입력-출력 템플릿을 가진 원자적 작업 정의를 통해 NLU 작업에 대한 통합된 표준 인터페이스를 제공한다.

제안 방법

• 모든 NLU 작업을 고정된 입력-출력 형식을 가진 두 가지 원자적 작업으로 정의하여, 모델 행동의 표준화를 이루면서도 임의의 레이블 세트의 유연성을 유지한다.
• GPT-3.5(ChatGPT)를 사용하여 80만 건 이상의 고품질이고 다양한 합성 NLU 데이터를 생성하여 개방형 시나리오에 적합한 실제적인 레이블과 주석을 생성한다.
• NER, 관계 추출, 텍스트 분류, 기계적 독해 이해 등 11개의 NLU 작업을 포함한 152개의 데이터셋에 기반한 기본 BLOOMZ 모델을 훈련한다.
• 이중 단계 훈련 과정을 적용한다: 먼저 합성 데이터를 통한 지시 훈련으로 일반화 능력을 향상시키고, 이후 실제 데이터셋으로의 훈련을 통해 작업별 정확도를 향상시킨다.
• 모든 작업 간에 일관된 프롬프트 템플릿을 사용하여 모델 일관성을 확보하고 작업별 프롬프트 엔지니어링 의존도를 줄인다.
• 한 개의 통합된 모델에서 다국어 NLU 기능을 지원하기 위해 양방향(영어/중국어) 데이터를 활용한다.

실험 결과

연구 질문

• RQ1 중간 크기의 언어 모델이 작업별 프롬프트 엔지니어링 없이 다양한 개방형 도메인 NLU 작업에서 강력한 제로샷 및 피셔샷 성능을 달성할 수 있는가?
• RQ2 다양하고 고품질의 합성 데이터를 기반으로 한 지시 훈련이 표준 훈련 대비 일반화 능력과 제로샷 전이 성능을 어떻게 향상시키는가?
• RQ3 모델 크기와 훈련 데이터량을 늘릴수록 여러 NLU 작업과 도메인에서 성능 향상에 어느 정도 기여하는가?
• RQ4 고정된 입력-출력 템플릿을 가진 통합된 원자적 작업 정의 방식이 다양한 NLU 작업에서 일관되게 정확한 구조화된 출력을 생성하도록 언어 모델을 이끌 수 있는가?
• RQ5 특히 자원이 제한된 환경에서, 모델이 새로운 도메인과 작업으로 지식을 전이하는 데 얼마나 효과적인가?

주요 결과

• SeqGPT는 사전에 알려지지 않은 NLU 작업, 특히 이벤트 추출 및 엔티티 타이핑에서 강력한 제로샷 성능을 보이며, GPT-3.5와 같은 표준 LLM보다 구조화된 출력 형식 준수에서 뛰어난 성능을 보였다.
• 152개의 다양한 데이터셋(11개의 NLU 작업 포함)에 걸쳐 제로샷 일반화 능력이 뛰어나며, 자원이 제한된 환경과 도메인 외부 설정에서도 안정적인 성능을 보였다.
• 152개의 데이터셋에서 유도된 233개의 원자적 작업으로의 훈련은 제로샷 또는 피셔샷 기준선 대비 성능 향상에 크게 기여했으며, 특히 분류 및 추출 작업에서 두드러졌다.
• 합성 데이터 지시 훈련 후 실제 데이터 훈련을 거치는 이중 단계 훈련 전략은 더 나은 일반화 능력과 일관된 출력 형식을 제공했다.
• 실증 분석 결과, 데이터 다양성이 데이터 양보다 성능 향상에 더 중요한 요소임을 확인하였으며, 레이블 다양성이 풍부한 합성 데이터의 가치를 뒷받침했다.
• CAAI, TNEWS, WikiQA와 같은 벤치마크에서 SeqGPT는 경쟁력 있는 성능을 기록했으며, 특히 구조화된 출력 작업에서 더 큰 모델과 비슷하거나 뛰어난 성능을 보였다.