[논문 리뷰] MetaIE: Distilling a Meta Model from LLM for All Kinds of Information Extraction Tasks

Letian Peng, Zilong Wang외 3명|arXiv (Cornell University)|2024. 03. 30.

Data Quality and ManagementDecision Sciences인용 수 3

한 줄 요약

MetaIE는 다양한 작업에서 zero-shot 및 few-shot 정보 추출(IE)을 위해 대규모 언어 모델(LLM)에서 메타모델을 희석시키는 프레임워크를 제안한다. LLM에서 생성된 가짜 데이터셋의 심볼릭 희석 과정을 통해, 소형 모델이 13개의 IE 데이터셋 전반에서 효과적으로 일반화할 수 있도록 한다. 이는 원시 미세튜닝, 다중 작업 미세튜닝, 단일 작업 희석과 비교해 베이스라인을 능가한다.

ABSTRACT

Information extraction (IE) is a fundamental area in natural language processing where prompting large language models (LLMs), even with in-context examples, cannot defeat small LMs tuned on very small IE datasets. We observe that IE tasks, such as named entity recognition and relation extraction, all focus on extracting important information, which can be formalized as a label-to-span matching. In this paper, we propose a novel framework MetaIE to build a small LM as meta-model by learning to extract "important information", i.e., the meta-understanding of IE, so that this meta-model can be adapted to all kind of IE tasks effectively and efficiently. Specifically, MetaIE obtains the small LM via a symbolic distillation from an LLM following the label-to-span scheme. We construct the distillation dataset via sampling sentences from language model pre-training datasets (e.g., OpenWebText in our implementation) and prompting an LLM to identify the typed spans of "important information". We evaluate the meta-model under the few-shot adaptation setting. Extensive results on 13 datasets from 6 IE tasks confirm that MetaIE can offer a better starting point for few-shot tuning on IE datasets and outperform other meta-models from (1) vanilla language model pre-training, (2) multi-IE-task pre-training with human annotations, and (3) single-IE-task symbolic distillation from LLM. Moreover, we provide comprehensive analyses of MetaIE, such as the size of the distillation dataset, the meta-model architecture, and the size of the meta-model.

연구 동기 및 목표

• 대규모 언어 모델의 광범위한 능력에도 불구하고 정보 추출 작업에서의 비효율성과 낮은 few-shot 성능 문제를 해결하기 위해.
• 작은 언어 모델 메타모델을 통합하여, 작업별 특화된 미세튜닝 없이 다양한 IE 작업 전반에서 일반화할 수 있도록 개발하기 위해.
• LLM이 레이블-스팬 형식화를 통해 '중요한 정보 추출'에 대한 메타이해로 희석될 수 있는지 탐색하기 위해.
• 인간 애너테이션 또는 작업별 사전 훈련과 비교해, LLM에서 생성된 데이터로부터의 심볼릭 희석의 효과성을 평가하기 위해.
• IE에 대한 메타이해를 희석하기 위한 최적의 모델 및 데이터 스케일 경계를 규명하기 위해.

제안 방법

• OpenWebText에서 100,000개 문장을 샘플링하고, GPT-3.5-turbo를 활용해 다양한 IE 레이블에 대해 '중요한 정보'의 유형화된 스팬을 식별하도록 프롬프트하여, 가짜 희석 데이터셋을 구성한다.
• 모든 IE 작업을 레이블-스팬 지시로 형식화한다: 주어진 레이블 l에 대해 입력 텍스트에서 스팬을 추출하도록 하여, 통합된 희석 기반 구조를 확보한다.
• 표준 미세튜닝과 교차 엔트로피 손실을 사용해, LLM에서 생성된 데이터셋에서 소형 학생 모델을 훈련하기 위해 심볼릭 희석을 수행한다.
• 다양한 모델 아키텍처를 지원한다: 시퀀스 레이블링(RoBERTa 등), seq2seq(BART, T5 등), 인과적 언어 모델(GPT2, OPT 등)으로, 일관된 레이블-스팬 형식을 유지한다.
• 하류 IE 데이터셋에서 few-shot 미세튜닝을 수행해 메타모델의 이식성과 일반화 능력을 평가한다.
• 희석 데이터셋 크기, 학생 모델 크기, 아키텍처를 대상으로 분석을 수행해 스케일링 행동과 성능 트레이드오프를 분석한다.

실험 결과

연구 질문

• RQ1 소형 언어 모델을 LLM에서 효과적으로 희석시켜 모든 IE 작업에 대한 보편적인 메타모델로 활용할 수 있는가?
• RQ2 LLM에서 생성된 레이블-스팬 쌍을 사용한 심볼릭 희석이 인간 애너테이션 기반 다중 작업 사전 훈련 또는 원시 사전 훈련보다 우수한 성능을 내는가?
• RQ3 IE에 대한 메타이해를 달성하기 위해 최적의 희석 데이터셋 크기와 학생 모델 크기는 무엇인가?
• RQ4 모델 아키텍처 선택(예: 시퀀스 레이블링 vs. seq2seq vs. 인과적 언어 모델)이 희석 효과성에 어떤 영향을 미치는가?
• RQ5 SRL, ABSA, ASTE와 같은 분포 외 IE 데이터셋으로도 메타모델이 잘 일반화되는가?

주요 결과

• MetaIE는 6개의 IE 작업에서 나온 13개 데이터셋의 few-shot 설정에서 원시 사전 훈련, 다중 IE 작업 인간 애너테이션 사전 훈련, 단일 IE 작업 심볼릭 희석과 비교해 메타모델 성능을 모두 능가한다.
• 모든 아키텍처 중에서 RoBERTa 기반 시퀀스 레이블링 모델이 가장 높은 성능을 기록했으며, 유사한 파라미터 수를 가진 BERT, BART, T5, GPT2, OPT를 모두 능가한다.
• 80K~160K 문장의 희석 데이터셋은 학생 모델이 IE에 대한 메타이해를 습득하는 데에 충분하며, 10K 예시조차도 상당한 성능 향상을 이끌어낸다.
• 모델의 성능은 파라미터 수에 따라 증가하며, 더 큰 모델일수록 복잡하거나 도메인 특화된 작업에서 더 잘 일반화된다.
• MetaIE는 강력한 few-shot 전이 성능을 기록했으며, 일반적으로 분포 내 데이터셋에서 작업별 희석보다 높거나 이를 초월한다. 이는 메타모델의 보편성을 입증한다.
• MetaIE의 성공은 LLM 자체의 능력 때문이 아니라, 레이블-스팬 형식화 덕분이며, LLM 출력에서 인간 애너테이션 기반 희석은 성능이 매우 열악했다.