[논문 리뷰] YAYI-UIE: A Chat-Enhanced Instruction Tuning Framework for Universal Information Extraction

Xinglin Xiao, Yijie Wang외 8명|arXiv (Cornell University)|2023. 12. 24.

Speech and dialogue systems인용 수 5

한 줄 요약

YAYI-UIE는 대화 데이터로 기본 LLM을 미세조정하여 지시어각능력을 향상시킨 후, 새로 구축한 종합적인 중국어 IE 벤치마크와 영어 데이터를 함께 사용하여 두 번째 단계에서 미세조정하는 이중 단계 지시 튜닝 프레임워크입니다. 이는 중국어 IE 벤치마크에서 지도 학습 및 제로샷 설정 모두에서 최신 기술 수준(SOTA) 성능을 달성하며, 이벤트 트리거 추출과 같은 핵심 과제에서 이전 방법보다 10점 이상 높은 F1 점수를 기록합니다.

ABSTRACT

The difficulty of the information extraction task lies in dealing with the task-specific label schemas and heterogeneous data structures. Recent work has proposed methods based on large language models to uniformly model different information extraction tasks. However, these existing methods are deficient in their information extraction capabilities for Chinese languages other than English. In this paper, we propose an end-to-end chat-enhanced instruction tuning framework for universal information extraction (YAYI-UIE), which supports both Chinese and English. Specifically, we utilize dialogue data and information extraction data to enhance the information extraction performance jointly. Experimental results show that our proposed framework achieves state-of-the-art performance on Chinese datasets while also achieving comparable performance on English datasets under both supervised settings and zero-shot settings.

연구 동기 및 목표

• 기존 LLM 기반 UIE 프레임워크에서 중국어에 대한 강력한 다국어 정보 추출 능력의 부족을 해결하기 위해.
• 지시어각능력 및 작업 이해 능력을 향상시켜 통합 정보 추출에서 제로샷 및 피처샷 일반화 능력을 향상시키기 위해.
• 16개의 다양한 도메인을 포함하는 가장 크고 종합적인 중국어 지시 튜닝 벤치마크를 구축하기 위해.
• 대화 이해와 구조화된 정보 추출을 동시에 향상시키는 종단간 채팅 기반 지시 튜닝 프레임워크를 개발하기 위해.
• 채팅 기반 지시 튜닝이 중국어 및 영어 정보 추출 과제에서 성능을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 기본 대규모 언어 모델을 대화 데이터로 미세조정하여 지시어각능력 및 일반적인 추론 능력을 향상시켜 채팅 최적화 모델을 생성합니다.
• 채팅 최적화 모델을 중국어 및 영어 정보 추출 예제로 구성된 병합된 데이터셋을 사용하여 지시 튜닝합니다. 이때 작업 유형, 선택지, 출력 형식을 명시하는 구조화된 프롬프트를 사용합니다.
• 프레임워크는 텍스트에서 JSON으로의 생성 스키마를 사용하며, 각 입력은 작업을 정의하고 레이블 제약 조건과 출력 구조를 명시하는 자연어 지시와 쌍을 이룹니다.
• 지시 템플릿은 세 가지 구성 요소를 포함합니다: 작업 기술 (예: '모든 엔티티를 추출하라'), 레이블 선택지 (예: 'person 유형의 엔티티만'), 출력 형식 (예: 'JSON 형식으로 출력하라').
• 학습 데이터는 의료, 법적, 금융 등 다양한 도메인에서 구성된 16개의 중국어 IE 데이터셋을 포함하며, 지금까지 가장 종합적인 중국어 IE 벤치마크를 형성합니다.
• 프레임워크는 지도 학습 및 제로샷 설정 모두에서 평가되며, NER, RE, 이벤트 추출 과제와 같은 표준 IE 메트릭(예: F1)을 사용하여 성능을 측정합니다.

실험 결과

연구 질문

• RQ1 대화 데이터를 통합한 이중 단계 지시 튜닝 프레임워크가 통합 정보 추출에서 제로샷 및 피처샷 일반화 능력을 향상시키는가?
• RQ2 채팅 기반 지시 튜닝은 표준 지시 튜닝에 비해 중국어 및 영어 정보 추출 과제에서 성능 면에서 어떻게 비교되는가?
• RQ3 대규모 다도메인 중국어 IE 벤치마크는 다국어 UIE에서 모델의 일반화 능력과 강건성에 얼마나 기여하는가?
• RQ4 첫 번째 튜닝 단계에서 대화 데이터를 통합하는 것이 복잡한 다성분 지시어를 올바르게 이해하고 수행하는 능력에 얼마나 큰 영향을 미치는가?
• RQ5 통합 프레임워크는 최소한의 작업별 적응 조정으로 영어 및 중국어 모두에서 여러 IE 하위 과제(NER, RE, EE)에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• YAYI-UIE는 중국어 IE 벤치마크에서 최신 기술 수준 성능을 달성하며, 이벤트 트리거 추출과 같은 핵심 과제에서 이전 방법보다 F1 점수 10점 이상 높게 기록합니다.
• Baichuan-13B 모델 기준, 채팅 최적화 버전(Baichuan-13B-chat)은 중국어 IE 과제에서 평균 F1 점수 76.34를 기록했으며, 기본 모델은 62.19였습니다.
• 프레임워크는 강력한 제로샷 일반화 능력을 보이며, 미세조정 없이도 새로운 IE 과제와 스키마에서도 높은 성능을 유지합니다.
• 제거 분석 결과, 채팅 기반 지시 튜닝이 복잡한 다성분 지시어의 이해 능력과 추출 정확도를 크게 향상시키는 것으로 확인되었습니다.
• 제안된 중국어 IE 벤치마크는 16개의 다양한 데이터셋을 포함하며, 이는 이전의 벤치마크보다 더 강건하고 일반화 능력이 뛰어난 학습을 가능하게 합니다.
• YAYI-UIE는 기존 SOTA 방법과 동등한 성능을 영어 데이터셋에서 기록하여 다국어 능력과 이식 가능성의 타당성을 확인합니다.