[논문 리뷰] ULTRA: Unleash LLMs' Potential for Event Argument Extraction through Hierarchical Modeling and Pair-wise Self-Refinement

Xinliang Frederick Zhang, Carter Blum외 3명|arXiv (Cornell University)|2024. 01. 24.

Topic Modeling인용 수 4

한 줄 요약

ULTRA는 Flan-UL2와 같은 오픈소스 LLM을 사용하여 문서 수준 이벤트 인자 추출 (DocEAE)을 향상시키는 비용 효율적이고 계층적인 프레임워크이다. 순차적 청크 처리, 관련 없는 후보를 걸러내는 자기 개선(self-refinement) 기법, 그리고 인자 범위 경계 검출을 향상시키는 LEAFER 모듈을 활용하여, 단지 50개의 애너테이션 예시를 사용하고 고비용 API 호출을 피하면서도 강력한 베이스라인(예: ChatGPT) 대비 9.8%p의 절대 F1 향상을 달성한다.

ABSTRACT

Structural extraction of events within discourse is critical since it avails a deeper understanding of communication patterns and behavior trends. Event argument extraction (EAE), at the core of event-centric understanding, is the task of identifying role-specific text spans (i.e., arguments) for a given event. Document-level EAE (DocEAE) focuses on arguments that are scattered across an entire document. In this work, we explore open-source Large Language Models (LLMs) for DocEAE, and propose ULTRA, a hierarchical framework that extracts event arguments more cost-effectively. Further, it alleviates the positional bias issue intrinsic to LLMs. ULTRA sequentially reads text chunks of a document to generate a candidate argument set, upon which non-pertinent candidates are dropped through self-refinement. We introduce LEAFER to address the challenge LLMs face in locating the exact boundary of an argument. ULTRA outperforms strong baselines, including strong supervised models and ChatGPT, by 9.8% when evaluated by Exact Match (EM).

연구 동기 및 목표

• 감독형 DocEAE 모델의 높은 애너테이션 및 추론 비용 문제를 해결하기 위해.
• ChatGPT와 같은 비공개 모델에서 발생하는 위치 편향 및 과도한 서술 문제를 완화하기 위해.
• 단지 50개의 애너테이션 예시만을 사용하여 최소한의 감독으로 효과적인 문서 수준 EAE를 가능하게 하기 위해.
• 전용 LEAFER 모듈을 통해 인자 범위 경계 검출을 향상시키기 위해.
• 적절한 파인튜닝과 개선 기법을 통해 오픈소스 LLM이 비공개 모델을 능가할 수 있음을 입증하기 위해.

제안 방법

• ULTRA는 문서를 순차적인 텍스트 청크로 나누어 LLM을 통해 후보 인자를 생성한다.
• 학습된 분류기를 사용하여 비관련 후보를 걸러내는 자기 개선 메커니즘이 적용된다.
• LEAFER 모듈은 후보 범위 내에서 시작 및 끝 위치를 예측하여 인자 범위 경계를 개선하도록 훈련된다.
• 자기 개선 및 LEAFER 모듈 모두에 최대 50개의 애너테이션 예시를 사용한 소수점 프롬프팅이 적용된다.
• ULTRA는 추론 시 API 호출 의존도를 최소화하기 위해 제로샷 추론 설정에서 작동한다.
• 청크 처리의 윈도우 크기는 정밀도와 재현율의 균형을 맞추기 위해 최적화되며, F1 성능은 윈도우 크기가 15일 때 포화 상태에 도달한다.

실험 결과

연구 질문

• RQ1 소수점 감독 하에 오픈소스 LLM이 문서 수준 이벤트 인자 추출에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ2 자기 개선과 범위 경계 개선 기법은 LLM 기반 EAE에서 환각 현상과 과도한 서술을 어떻게 줄일 수 있는가?
• RQ3 계층적 처리에서 텍스트 청크 윈도우 크기를 변화시킬 경우 정밀도와 재현율 간의 상호 보완적 트레이드오프는 어떻게 나타나는가?
• RQ4 경량화된 파인튜닝된 LEAFER 모듈은 원본 LLM 출력 대비 인자 범위 경계 검출을 얼마나 향상시킬 수 있는가?
• RQ5 ULTRA는 감독형 기계학습 모델과 ChatGPT와 같은 비공개 LLM 대비 비용과 성능 측면에서 어떻게 비교되는가?

주요 결과

• ULTRA는 DocEAE 벤치마크에서 ChatGPT를 포함한 가장 강력한 베이스라인 대비 정확 일치 F1 점수에서 9.8%p의 절대적 향상을 달성한다.
• ULTRA는 이전 최신 기술 수준 모델의 25.2% EM 재현율 대비 56% 향상된 EM 재현율을 확보한다.
• 단지 50개의 애너테이션 예시만으로도 높은 성능을 유지하여, 소수점 일반화 능력이 뛰어나다는 것을 입증한다.
• ULTRA는 추론 비용을 크게 절감한다. 2K 테스트 세트 기준 ChatGPT의 추론 비용은 약 $40–$400로 추정되며, 22K 애너테이션 기사가 필요한 감독형 모델의 $20,000 대비 크게 낮다.
• Layer-1-only 버전 분석 결과, 윈도우 크기가 15일 때 F1 성능이 포화 상태에 도달함을 확인하여 정밀도와 재현율 간 최적의 트레이드오프가 이루어짐을 시사한다.
• LEAFER는 ULTRA가 과도하게 넓은 범위를 출력하는 문제를 수정하는 데 기여하며, 예를 들어 '이번 해 3월부터 5월까지'라는 정확한 범위가 존재할 때 '7월'을 제거하는 데 성공한다.