[논문 리뷰] Learning to Extract Structured Entities Using Language Models

Haolun Wu, Ye Yuan외 5명|arXiv (Cornell University)|2024. 02. 06.

Data Quality and Management인용 수 4

한 줄 요약

이 논문은 사전 정의된 스키마 하에 이름 있는 엔티티 인식, 속성 추출, 관계 추출을 통합하는 새로운 과제인 구조화된 엔티티 추출(SEE)을 소개한다. 저자들은 추출 과정을 병렬 단계로 분해함으로써 효과성과 효율성을 향상시키는 다단계 LLM 기반 모델인 MuSEE를 제안하여 벤치마크 데이터셋에서 최고 성능을 기록했으며, 정량적 평가와 인간 평가를 통해 우수한 강건성과 더불어 환각 현상 감소를 입증하였다.

ABSTRACT

Recent advances in machine learning have significantly impacted the field of information extraction, with Language Models (LMs) playing a pivotal role in extracting structured information from unstructured text. Prior works typically represent information extraction as triplet-centric and use classical metrics such as precision and recall for evaluation. We reformulate the task to be entity-centric, enabling the use of diverse metrics that can provide more insights from various perspectives. We contribute to the field by introducing Structured Entity Extraction and proposing the Approximate Entity Set OverlaP (AESOP) metric, designed to appropriately assess model performance. Later, we introduce a new Multistage Structured Entity Extraction (MuSEE) model that harnesses the power of LMs for enhanced effectiveness and efficiency by decomposing the extraction task into multiple stages. Quantitative and human side-by-side evaluations confirm that our model outperforms baselines, offering promising directions for future advancements in structured entity extraction. Our source code and datasets are available at https://github.com/microsoft/Structured-Entity-Extraction.

연구 동기 및 목표

• 사전 정의된 스키마 하에 이름 있는 엔티티 인식(NER), 속성 추출, 관계 추출, 공통 참조 해결을 통합하는 유일한 과제로 구조화된 엔티티 추출(SEE)을 정식으로 정의하고 정의한다.
• SEE에 적합한 평가 지표 부족 문제를 해결하기 위해 예측된 구조화된 엔티티 세트와 진짜값 세트 간의 유사도를 측정하는 Approximate Entity Set Overlap (AESOP) 지표를 제안하며, 정밀도, 재현율, 최대 F1 등의 다양한 변형을 포함한다.
• 새로운 다단계 아키텍처를 통해 대규모 언어 모델을 활용한 구조화된 엔티티 추출의 효과성과 효율성을 향상시킨다.
• 입력 텍스트에 대한 기반(grounding) 분석을 통해 모델의 환각 현상과 편향을 줄이고, 변형에 대한 강건성을 평가한다.
• 정량적 벤치마크와 인간이 참여하는 측면 대비 평가를 통해 성능을 검증한다.

제안 방법

• 모든 엔티티 유형과 속성 키가 사전 정의된 스키마로 제약되는 닫힌 정보 추출 과제로 SEE를 정의한다.
• 예측된 구조화된 엔티티 세트와 진짜값 세트를 비교하기 위해 특화된 세트 기반 유사도 측정 지표인 AESOP 지표를 제안하며, 정밀도, 재현율, 최대 F1 등의 변형을 포함한다.
• 엔티티 인식, 속성 추출, 관계 예측의 순차적 단계로 구성된 다단계 LLM 기반 모델인 MuSEE를 설계하여 추출 과정을 분해함으로써 병렬 처리와 더불어 토큰 생성을 감소시킨다.
• 단계별 분해와 집중된 예측을 통해 중복적인 토큰 생성을 최소화함으로써 추론 효율성을 최적화한다.
• 입력 텍스트에 대한 기반 여부를 평가하기 위해 테스트 데이터의 속성 값을 카테고리 기반으로 대체하여 변형하고, 성능 저하 정도를 측정함으로써 모델이 입력 텍스트에 의존하는지 아니면 사전 학습된 지식에 의존하는지 분석한다.
• 지침 테이닝을 활용한 few-shot 프롬프팅을 통해 LLM이 스키마에 부합하는 구조화된 JSON 출력을 생성하도록 유도한다.

Figure 1: Illustration of the structured entity extraction task. Given a text description as well as some predefined schema containing all the candidates of entity types and property keys, our task aims to output a structured json for all entities in the text with their information.

실험 결과

연구 질문

• RQ1 사전 정의된 스키마 하에 이름 있는 엔티티 인식, 속성 추출, 관계 추출을 통합하는 일관된 NLP 과제로서의 구조화된 엔티티 추출은 어떻게 정의할 수 있는가?
• RQ2 예측된 엔티티 세트와 진짜값 세트를 비교할 때, 구조화된 엔티티 추출의 품질을 가장 잘 반영하는 평가 지표는 무엇인가?
• RQ3 다단계 LLM 기반 아키텍처는 종단 간 기반 모델 대비 효과성과 효율성을 향상시킬 수 있는가?
• RQ4 LLM 기반 모델이 입력 텍스트에 기반하지 않고 사전 학습된 지식에 의존하거나 환각 현상을 일으키는 정도는 어느 정도인가?
• RQ5 특성 유형에 따라 모델 성능은 어떻게 변할까. 특히 희귀하거나 희박한 특성들에 대해서는 어떻게 되는가?

주요 결과

• MuSEE는 Wikidata 기반 데이터셋에서 모든 기반 모델을 압도하며, AESOP-MultiProp-Max 점수에서 최고를 기록했고, 인간 평가에서 완전성 측면에서 61.75%의 선호도를 확보했다.
• MuSEE는 변형된 데이터에서 성능 저하가 가장 적어, 입력 텍스트에 대한 기반 여부가 강하고 환각 현상이 적다는 점에서 다른 모델보다 뛰어난 강건성을 보였다.
• 특성 수준 분석에서 MuSEE는 모든 특성에서 기반 모델을 항상 앞서며, '유형'과 '엔티티 이름'과 같은 빈도가 높은 특성에서 두드러진 개선을 보였고, '수도'와 같은 희귀 특성에서도 뛰어난 성능을 보였다.
• 모든 모델, MuSEE를 포함하여 '사망지'와 '직업'과 같은 희박한 특성에서 성능이 낮게 나타나 데이터의 희박성이 핵심 과제임을 시사했다.
• 인간 평가를 통해 MuSEE의 정확성(59.32% 선호도)과 환각 현상 감소(57.13% 선호도)가 확인되었으며, 이는 정량적 결과와 일치했다.
• MuSEE의 다단계 설계는 정확도를 유지하면서도 토큰 생성을 줄여 추론 효율성을 향상시켰으며, 효과성과 효율성의 우수한 트레이드오프를 보여주었다.

Figure 2: The pipeline of our proposed MuSEE model, which is built on an encoder-decoder architecture. The input text only needs to be encoded once. The decoder is shared for all the following three stages. All predictions within each stage can be processed in parallel, and teacher forcing enables p