[논문 리뷰] EventRL: Enhancing Event Extraction with Outcome Supervision for Large Language Models

Jun Gao, Huan Zhao외 3명|arXiv (Cornell University)|2024. 02. 18.

Topic Modeling인용 수 4

한 줄 요약

EventRL은 사전 정의된 작업 보상 함수를 사용한 결과 기반 감독을 통해 대규모 언어 모델(Large Language Models, LLMs)의 이벤트 추출 성능을 향상시키는 강화학습 프레임워크를 제안한다. 이는 환각 현상과 구조적 오류를 감소시키며, 특히 새로운 이벤트 유형을 식별하거나 올바른 이벤트 구조를 유지하는 데서 기존의 few-shot prompting 및 감독 미세조정보다 뛰어난 성능을 보인다. 코드 데이터로 미세조정된 CodeLLaMa 모델은 일반화 능력이 뛰어나고, 보류된 데이터에서 최대 65.90 F1 점수까지 성능 향상을 기록한다.

ABSTRACT

In this study, we present EventRL, a reinforcement learning approach developed to enhance event extraction for large language models (LLMs). EventRL utilizes outcome supervision with specific reward functions to tackle prevalent challenges in LLMs, such as instruction following and hallucination, manifested as the mismatch of event structure and the generation of undefined event types. We evaluate EventRL against existing methods like Few-Shot Prompting (FSP) (based on GPT4) and Supervised Fine-Tuning (SFT) across various LLMs, including GPT-4, LLaMa, and CodeLLaMa models. Our findings show that EventRL significantly outperforms these conventional approaches by improving the performance in identifying and structuring events, particularly in handling novel event types. The study emphasizes the critical role of reward function selection and demonstrates the benefits of incorporating code data for better event extraction. While increasing model size leads to higher accuracy, maintaining the ability to generalize is essential to avoid overfitting.

연구 동기 및 목표

• LLM 기반 이벤트 추출에서 지시 준수 및 환각 문제, 특히 구조적 불일치와 정의되지 않은 이벤트 유형 문제를 해결하기 위해.
• 표준 손실 함수에서 실제 추출 정확도를 반영하는 결과 기반 피드백으로의 전환을 통해 이벤트 추출 성능을 향상시키기 위해.
• 결과 기반 감독을 통한 강화학습이 새로운 이벤트 유형에 대한 일반화 능력 향상과 이벤트 스키마의 구조적 정확성 향상에 기여하는지 조사하기 위해.
• 코드 데이터 사전학습이 이벤트 추출 성능과 다양한 모델 규모에서의 모델의 강인성에 미치는 영향을 평가하기 위해.

제안 방법

• EventRL은 이벤트 추출 성능 지표에서 유도된 결과 기반 보상 함수를 사용하여 정책 네트워크를 최적화하는 강화학습 프레임워크를 적용한다.
• 세 가지 보상 함수가 도입되며, 각각는 잘못된 인자 역할 또는 이벤트 유형 예측에 대해 더 심각한 벌점을 적용하도록 설계되어 있다: Argument-F1, Average-F1, Product-F1.
• 학습 안정화를 위해 Teacher-Force Threshold와 Advantage Clipping을 통합하여 정책 열화 및 치명적인 기억 상실을 방지한다.
• 정확한 이벤트 인자 및 유형 일치 기반으로 보상 형상화를 적용하며, 피드백은 최종 이벤트 구조의 정확성과 직접 연결된다.
• GPT-4, LLaMA, CodeLLaMa 등 다양한 LLM에 적용되며, PPO 유사 최적화를 통해 SFT 초기화된 모델을 사용하여 학습된다.
• 구조적 정보 이해 능력을 향상시키기 위해 코드 데이터 사전학습을 통합하여 이벤트 추출 작업에서의 성능 향상을 도모한다.

Figure 1: Examples of common errors in LLM-Based event extraction. The left side depicts an error of generating an undefined event type, specifically an unexpected “Vote” event not included in the guidelines. The right side shows a structural mismatch error within an “Attack” event, incorporating an

실험 결과

연구 질문

• RQ1 강화학습을 통한 결과 기반 감독이 LLM 기반 이벤트 추출에서 환각 현상과 구조적 오류를 상당히 감소시키는가?
• RQ2 다양한 보상 함수(Argument-F1, Average-F1, Product-F1)는 모델의 정확한 이벤트 구조 및 유형 학습 능력에 어떤 영향을 미치는가?
• RQ3 코드 데이터로의 사전학습이 이벤트 추출에서 새로운 이벤트 유형에 대한 LLM의 일반화 능력을 향상시키는가?
• RQ4 모델 크기를 증가시킬수록 이벤트 추출 성능가 향상되며, 보류된 데이터에서 과적합이 발생하는가?
• RQ5 EventRL을 통한 결과 기반 피드백이 제로샷 및 소수 샘플 이벤트 추출 설정에서 기존의 감독 미세조정 및 few-shot prompting을 능가하는가?

주요 결과

• EventRL은 다양한 LLM에서 기존의 few-shot prompting(GPT-4) 및 감독 미세조정(SFT)을 뛰어넘으며, CodeLLaMa-13B와 Product-F1 보상 함수를 사용하여 보류된 테스트 세트에서 65.90 F1 점수를 기록했다.
• 코드 데이터로 사전학습된 CodeLLaMa 모델은 7B 규모에서 보류된 테스트 세트에서 평균 59.23 F1 점수, 보류된 테스트 세트에서 49.74 F1 점수를 기록했으며, LLaMa-7B(56.03 및 37.35)를 능가하여 코드 데이터의 구조적 추론 능력 향상 효과를 입증했다.
• 13B 규모에서 CodeLLaMa와 LLaMa 간 성능 격차가 더욱 커졌으며, CodeLLaMa-13B는 보류된 데이터에서 평균 51.69 F1 점수를 기록한 반면, LLaMa는 42.04를 기록했다.
• 34B 파rameter로 확장된 경우, CodeLLaMa-34B는 일반화 능력이 저하되어 보류된 데이터에서 48.75 F1 점수를 기록하여 더 큰 모델에서 과적합 위험이 있음을 시사했다.
• 사례 연구 결과, EventRL(Prod-F1)은 체포 이벤트에서 '경찰'이라는 주체 역할과 '범죄' 인자 역할을 정확히 식별하는 반면, SFT 기반 모델은 둘 다 누락하는 것으로 나타나 구조적 정확도 향상이 뚜렷했다.
• 보상 함수 설계의 중요성을 입증하며, Product-F1가 가장 뛰어난 성능을 보였고, 이는 정밀도와 재현율을 함께 최적화하는 것이 이벤트 구조 정확성 향상에 가장 효과적임을 시사한다.

Figure 2: The EventRL framework architecture, demonstrating the process from initialization with an SFT Model $M_{0}$ , through iterative model updates $M_{t}$ to $M_{t+1}$ via Outcome Supervision. This includes using reinforcement learning with reward functions based on Trigger-F1 and Argument-F1 s