[논문 리뷰] InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction
InstructUIE는 정보추출 태스크를 작업 지시문과 옵션에 guided한 자연어 생성으로 재구성하여 NER, RE, EE 벤치마크에서 강한 감독 및 제로샷 성능을 달성한다.
Large language models have unlocked strong multi-task capabilities from reading instructive prompts. However, recent studies have shown that existing large models still have difficulty with information extraction tasks. For example, gpt-3.5-turbo achieved an F1 score of 18.22 on the Ontonotes dataset, which is significantly lower than the state-of-the-art performance. In this paper, we propose InstructUIE, a unified information extraction framework based on instruction tuning, which can uniformly model various information extraction tasks and capture the inter-task dependency. To validate the proposed method, we introduce IE INSTRUCTIONS, a benchmark of 32 diverse information extraction datasets in a unified text-to-text format with expert-written instructions. Experimental results demonstrate that our method achieves comparable performance to Bert in supervised settings and significantly outperforms the state-of-the-art and gpt3.5 in zero-shot settings.
연구 동기 및 목표
- 지시문으로 튜닝된 LLM을 활용한 통합 정보 추출(UIE)을 제안하여 IE 작업 간 성능 격차를 해소한다.
- 설명적 태스크 지시문과 출력 제약을 사용하는 다중 작업 지시문 튜닝 프레임워크를 제안한다.
- 구조적 이해 및 태스크 간 일반화를 강화하기 위한 보조 태스크를 도입한다.
- IE INSTRUCTIONS를 만들어 감독 및 제로샷 시나리오에서 UIE를 평가하기 위한 통합된 32개 데이터셋 벤치마크를 제시한다.
제안 방법
- IE 태스크를 네 가지 입력(작업 지시문, 옵션, 텍스트, 출력)으로 시퀀스-투-시퀀스 설정으로 재구성한다.
- 작업별 후보 라벨(예: NER 태그, RE 관계, EE 이벤트 타입)로 출력 공간을 제한하는 옵션 메커니즘을 사용한다.
- 의미 이해를 심화하기 위해 보조 태스크를 도입한다(NER의 경우 스팬 추출 및 타입 지정; RE의 경우 엔터티 쌍 추출 및 관계 분류; EE의 경우 트리거 및 인자 추출).
- 레이블 체계 정규화 및 자연어 레이블 형식을 포함하여 32개 IE 데이터셋을 텍스트-투-텍스트 형식(IE INSTRUCTIONS)로 통합한다.
- 다양한 IE 태스크에 대해 지시문 튜닝으로 하나의 11B Flan-T5 모델을 학습시키고 감독 및 제로샷 설정으로 평가한다.
실험 결과
연구 질문
- RQ1지시문으로 튜닝된 LLM이 단일 프레임워크 내에서 NER, RE, EE를 보편적으로 처리할 수 있는가?
- RQ2작업 지시문과 레이블 제약이 IE 태스크 전반의 생성 품질과 태스크 준수도에 어떤 영향을 미치는가?
- RQ3보조 태스크가 교차 태스크 일반화 및 저자원 또는 제로샷 설정에서 성능을 향상시키는가?
- RQ4감독 및 제로샷 조건에서 InstructUIE는 전용 IE 모델 및 기존 UIE/USM 접근법과 어떻게 비교되는가?
- RQ5레이블 체계를 통합하고 텍스트-투-텍스트 형식으로 변환하는 것이 데이터 간 IE 성능에 어떤 영향을 미치는가?
주요 결과
- InstructUIE는 감독 하의 IE 태스크에서 BERT와 비슷한 성능을 달성한다.
- 제로샷 설정에서 InstructUIE는 여러 IE 태스크에서 최첨단 및 GPT-3.5를 크게 능가한다.
- 20개 데이터셋의 NER에서 InstructUIE의 평균 F1는 85.19%로 BERT의 80.09%를 넘어선다.
- 8개 데이터셋의 RE에서 InstructUIE의 평균 F1은 67.98%이며 NYT에서 90.47%의 강한 성능을 보인다.
- EE에서 InstructUIE는 평균 Event Trigger F1 71.69%를 달성하고 Event Argument F1은 기준치보다 큰 차이로 앞선다.
- IE INSTRUCTIONS, 32-dataset 벤치마크는 과학, 보건, 소셜 미디어 등 다양한 도메인에서 UIE의 표준화된 평가를 가능하게 한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.