[논문 리뷰] STAR: Boosting Low-Resource Information Extraction by Structure-to-Text Data Generation with Large Language Models

Mingyu Derek Ma, Xiaoxuan Wang외 4명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 4

한 줄 요약

STAR는 구조 기반 텍스트 생성 프레임워크를 제안하며, 먼저 소수의 예시를 통해 목표 정보 추출 구조를 합성한 후, 지시 테이닝과 자기 반성 기반 오류 보정을 통해 LLM을 활용해 자연어 문장을 생성한다. 이는 저자원 이벤트 및 관계 추출 성능을 크게 향상시키며, 인간이 수작업한 데이터를 초월하는 품질과 효과성을 보인다.

ABSTRACT

Information extraction tasks such as event extraction require an in-depth understanding of the output structure and sub-task dependencies. They heavily rely on task-specific training data in the form of (passage, target structure) pairs to obtain reasonable performance. However, obtaining such data through human annotation is costly, leading to a pressing need for low-resource information extraction approaches that require minimal human labeling for real-world applications. Fine-tuning supervised models with synthesized training data would be a generalizable method, but the existing data generation methods either still rely on large-scale ground-truth data or cannot be applied to complicated IE tasks due to their poor performance. To address these challenges, we propose STAR, a data generation method that leverages Large Language Models (LLMs) to synthesize data instances given limited seed demonstrations, thereby boosting low-resource information extraction performance. Our approach involves generating target structures (Y) followed by generating passages (X), all accomplished with the aid of LLMs. We design fine-grained step-by-step instructions to obtain the initial data instances. We further reduce errors and improve data quality through self-reflection error identification and self-refinement with iterative revision. Our experiments show that the data generated by STAR significantly improve the performance of low-resource event extraction and relation extraction tasks, even surpassing the effectiveness of human-curated data. Human assessment of the data quality shows STAR-generated data exhibits higher passage quality and better align with the task definitions compared with the human-curated data.

연구 동기 및 목표

• Annotation된 학습 데이터가 부족하고 생산에 비용이 많이 드는 저자원 정보 추출 문제를 해결하기 위해.
• 기존의 정답 데이터에 의존하지 않고도 확장 가능하고 일반화 가능한 데이터 생성 방법을 개발하기 위해.
• 고품질의 합성 학습 데이터를 통해 저자원 환경에서의 지도 학습 기반 IE 모델의 성능을 향상시키기 위해.
• 생성된 데이터가 구조적 정확성, 언어적 품질, 작업 정의와의 일치를 유지하도록 보장하기 위해.
• 데이터 품질과 후속 모델 성능 모두에서 인간이 수작업한 데이터를 초월하기 위해.

제안 방법

• STAR는 소수의 예시를 사용해 시드 예시로부터 목표 구조(Y)를 먼저 생성함으로써, 이벤트 유형, 촉발어, 인자 역할의 다양성과 분포를 제어할 수 있다.
• 그 후 지시 테이닝된 LLM을 사용해 지정된 목표 구조를 포함하는 자연어 문장(X)을 생성하며, 세밀하고 작업 전용 지침에 따라 유도된다.
• 자기 반성은 LLM에 자동으로 생성된 반성 질문을 사용해 생성된 문장의 품질 문제를 식별하도록 유도함으로써 적용된다.
• 템플릿 기반 수정을 통한 후행 피드백을 반복적으로 적용하여 오류를 수정하고 데이터 품질을 향상시킨다.
• 이 파이프라인은 LLM이 잘하는 조건부 텍스트 생성으로 이어지는 어려운 구조 유도에서 벗어나, 역방향 생성 과정(Y → X)으로 설계되어 있다.
• 구조 및 지시 템플릿을 적절히 조정함으로써 이벤트 추출과 관계 추출 모두에 적용 가능하다.

Figure 1: The Star inverse data generation strategy using event extraction task as an example. We first generate target structures from valid trigger and argument candidates. Then we prompt the LLM with task instructions from different task granularities to generate the initial passage $X_{0}$ conta

실험 결과

연구 질문

• RQ1 구조 합성에서 시작하는 LLM 기반 데이터 생성이 저자원 IE 작업을 위한 고품질 학습 데이터를 생성할 수 있는가?
• RQ2 기존 정답 데이터에 의존하는 전통적 방법에 비해, 역방향 생성 전략(Y → X)이 더 나은 성능을 내는가?
• RQ3 자기 반성과 반복적 개선이 합성 IE 데이터의 오류를 상당히 줄일 수 있는가?
• RQ4 STAR가 생성한 데이터가 인간이 수작업한 데이터에 비해 후속 IE 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ5 언어적 정확성과 작업 정의 일치 측면에서 STAR가 생성한 데이터의 품질은 인간이 수작업한 데이터와 비교해 어떻게 되는가?

주요 결과

• SURE 프롬프팅을 사용할 경우, STAR가 생성한 데이터는 제로샷 베이스라인 대비 저자원 이벤트 추출 성능을 5.4 F1 포인트 향상시켰다.
• GenPT 프롬프팅을 사용할 경우, 관계 추출 성능은 제로샷 베이스라인 대비 3.6 F1 포인트 향상되었다.
• 인간 평가 결과, STAR가 생성한 데이터는 문법성 96%, 정보성 79%, 일반 지식 95%에서 높은 점수를 기록했으며, 문장 품질 측면에서 인간 수작업 데이터를 초월했다.
• STAR가 생성한 데이터는 인자 범위를 100% 정확도로 포착했고, 인자 역할 할당 정확도는 98%를 기록했으며, 인간 수준의 성능을 유지하거나 초월했다.
• 특히 촉발어와 이벤트 유형 일관성 측면에서 99% 정확도를 기록해 작업 정의와의 뛰어난 일치를 보였다.
• 다양한 평가에서, 인간 수작업 데이터가 벤치마크로 사용된 경우조차도, STAR가 생성한 데이터는 후속 IE 모델의 성능에서 뛰어난 성능을 보였다.

Figure 2: Event extraction performance (F1, %) when the EE models are trained on $N$ augmented training data on top of 10 data points ( $k=10$ ) for each event type. We observe that performance gain brought by Star -generated data is magnified as the data augmentation scales up with a larger $N$ , a