Skip to main content
QUICK REVIEW

[논문 리뷰] InstructUIE: Multi-task Instruction Tuning for Unified Information Extraction

Xiao Wang, Weikang Zhou|arXiv (Cornell University)|2023. 04. 17.
Topic ModelingComputer Science인용 수 47
한 줄 요약

InstructUIE는 정보추출 태스크를 작업 지시문과 옵션에 guided한 자연어 생성으로 재구성하여 NER, RE, EE 벤치마크에서 강한 감독 및 제로샷 성능을 달성한다.

ABSTRACT

Large language models have unlocked strong multi-task capabilities from reading instructive prompts. However, recent studies have shown that existing large models still have difficulty with information extraction tasks. For example, gpt-3.5-turbo achieved an F1 score of 18.22 on the Ontonotes dataset, which is significantly lower than the state-of-the-art performance. In this paper, we propose InstructUIE, a unified information extraction framework based on instruction tuning, which can uniformly model various information extraction tasks and capture the inter-task dependency. To validate the proposed method, we introduce IE INSTRUCTIONS, a benchmark of 32 diverse information extraction datasets in a unified text-to-text format with expert-written instructions. Experimental results demonstrate that our method achieves comparable performance to Bert in supervised settings and significantly outperforms the state-of-the-art and gpt3.5 in zero-shot settings.

연구 동기 및 목표

  • 지시문으로 튜닝된 LLM을 활용한 통합 정보 추출(UIE)을 제안하여 IE 작업 간 성능 격차를 해소한다.
  • 설명적 태스크 지시문과 출력 제약을 사용하는 다중 작업 지시문 튜닝 프레임워크를 제안한다.
  • 구조적 이해 및 태스크 간 일반화를 강화하기 위한 보조 태스크를 도입한다.
  • IE INSTRUCTIONS를 만들어 감독 및 제로샷 시나리오에서 UIE를 평가하기 위한 통합된 32개 데이터셋 벤치마크를 제시한다.

제안 방법

  • IE 태스크를 네 가지 입력(작업 지시문, 옵션, 텍스트, 출력)으로 시퀀스-투-시퀀스 설정으로 재구성한다.
  • 작업별 후보 라벨(예: NER 태그, RE 관계, EE 이벤트 타입)로 출력 공간을 제한하는 옵션 메커니즘을 사용한다.
  • 의미 이해를 심화하기 위해 보조 태스크를 도입한다(NER의 경우 스팬 추출 및 타입 지정; RE의 경우 엔터티 쌍 추출 및 관계 분류; EE의 경우 트리거 및 인자 추출).
  • 레이블 체계 정규화 및 자연어 레이블 형식을 포함하여 32개 IE 데이터셋을 텍스트-투-텍스트 형식(IE INSTRUCTIONS)로 통합한다.
  • 다양한 IE 태스크에 대해 지시문 튜닝으로 하나의 11B Flan-T5 모델을 학습시키고 감독 및 제로샷 설정으로 평가한다.

실험 결과

연구 질문

  • RQ1지시문으로 튜닝된 LLM이 단일 프레임워크 내에서 NER, RE, EE를 보편적으로 처리할 수 있는가?
  • RQ2작업 지시문과 레이블 제약이 IE 태스크 전반의 생성 품질과 태스크 준수도에 어떤 영향을 미치는가?
  • RQ3보조 태스크가 교차 태스크 일반화 및 저자원 또는 제로샷 설정에서 성능을 향상시키는가?
  • RQ4감독 및 제로샷 조건에서 InstructUIE는 전용 IE 모델 및 기존 UIE/USM 접근법과 어떻게 비교되는가?
  • RQ5레이블 체계를 통합하고 텍스트-투-텍스트 형식으로 변환하는 것이 데이터 간 IE 성능에 어떤 영향을 미치는가?

주요 결과

  • InstructUIE는 감독 하의 IE 태스크에서 BERT와 비슷한 성능을 달성한다.
  • 제로샷 설정에서 InstructUIE는 여러 IE 태스크에서 최첨단 및 GPT-3.5를 크게 능가한다.
  • 20개 데이터셋의 NER에서 InstructUIE의 평균 F1는 85.19%로 BERT의 80.09%를 넘어선다.
  • 8개 데이터셋의 RE에서 InstructUIE의 평균 F1은 67.98%이며 NYT에서 90.47%의 강한 성능을 보인다.
  • EE에서 InstructUIE는 평균 Event Trigger F1 71.69%를 달성하고 Event Argument F1은 기준치보다 큰 차이로 앞선다.
  • IE INSTRUCTIONS, 32-dataset 벤치마크는 과학, 보건, 소셜 미디어 등 다양한 도메인에서 UIE의 표준화된 평가를 가능하게 한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.