[논문 리뷰] CrudeOilNews: An Annotated Crude Oil News Corpus for Event Extraction

Meisin Lee, Lay-Ki Soon외 2명|arXiv (Cornell University)|2022. 04. 08.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 재무 NLP 모델을 위한 고품질 훈련을 가능하게 하기 위해 상호 평가 일致도가 높은, 이벤트 추출을 위한 영어 원유 뉴스 분야에서의 첫 번째 애너테이션 코퍼스인 CrudeOilNews를 소개한다. 이 코퍼스는 약 11,000개의 이벤트를 포함한 425篇의 기사로 구성되어 있으며, ACE/ERE 기반의 애너테이션을 적용하고 새로운 강도 레이블링 방식을 도입하였으며, 클래스 불균형 문제를 해결하기 위해 인간이 참여하는 주도적 학습과 데이터 증강 기법을 활용하였다. 이는 높은 수준의 상호 평가 일치도를 달성하여 재무 NLP 모델의 품질 향상에 기여한다.

ABSTRACT

In this paper, we present CrudeOilNews, a corpus of English Crude Oil news for event extraction. It is the first of its kind for Commodity News and serve to contribute towards resource building for economic and financial text mining. This paper describes the data collection process, the annotation methodology and the event typology used in producing the corpus. Firstly, a seed set of 175 news articles were manually annotated, of which a subset of 25 news were used as the adjudicated reference test set for inter-annotator and system evaluation. Agreement was generally substantial and annotator performance was adequate, indicating that the annotation scheme produces consistent event annotations of high quality. Subsequently the dataset is expanded through (1) data augmentation and (2) Human-in-the-loop active learning. The resulting corpus has 425 news articles with approximately 11k events annotated. As part of active learning process, the corpus was used to train basic event extraction models for machine labeling, the resulting models also serve as a validation or as a pilot study demonstrating the use of the corpus in machine learning purposes. The annotated corpus is made available for academic research purpose at https://github.com/meisin/CrudeOilNews-Corpus.

연구 동기 및 목표

• 금융 및 경제 분야에서 상품 뉴스에 대한 애너테이션 코퍼스가 부족한 문제를 해결하기 위해, 특히 원유 뉴스에 초점을 맞춘다.
• 거시경제, 지정학적 사건, 수요-공급 이벤트를 고려한 매크로경제적·지정학적·공급-수요 이벤트에 특화된 고품질의 ACE/ERE 기반 이벤트 애너테이션 체계를 개발한다.
• 이벤트 속성의 클래스 불균형 문제를 데이터 증강 및 주도적 학습을 통해 완화한다.
• 기본 이벤트 추출 모델을 훈련하고 평가하여 코퍼스의 실용성을 입증한다.
• 향후 연구를 위해 문서 수준의 이벤트 관계, 공명사, 문장 간 이벤트 추론 등 재무 텍스트 분야에서의 연구 기반을 마련한다.

제안 방법

• 175편의 수동으로 애너테이션된 원유 뉴스 기사로 구성된 시드 셋을 구축하였으며, 이 중 25편은 상호 평가 일치도를 측정하기 위한 골드 표준 테스트 세트로 사용하였다.
• ACE/ERE 표준과 일치하는 이벤트 애너테이션 체계를 정의하였으며, 트리거, 역할 역할, 그리고 세 가지 이벤트 속성(Polarity, Modality, Intensity)을 포함한다.
• 이벤트 영향력이 증가하거나 완화되는지를 포괄하는 새로운 '강도(Intensity)' 속성을 도입하여 이벤트 표현의 정교함을 향상시켰다.
• 이벤트 속성의 소수 클래스를 과잉 샘플링하기 위해 데이터 증강을 적용하여 클래스 불균형 문제를 완화하였다.
• 불확실성 샘플링(최소 신뢰도)을 활용한 인간이 참여하는 주도적 학습 기법을 적용하여, 모델 예측의 낮은 신뢰도 영역에 집중적으로 인간 애너테이션을 수행함으로써 코퍼스를 점진적으로 확장하였다.
• 확장된 코퍼스를 기반으로 기본 이벤트 추출 모델을 훈련하고 평가하여 기계 학습에 대한 코퍼스의 실용성을 검증하였다.

실험 결과

연구 질문

• RQ1 원유 뉴스의 고유한 언어적 특성과 도메인 특수성을 감안할 때, 고품질의 ACE/ERE 기반 이벤트 애너테이션 체계가 효과적으로 적용될 수 있는가?
• RQ2 금융 이벤트 추출 분야에서 인간이 참여하는 주도적 학습이 애너테이션 노력은 줄이고도 모델 성능은 유지할 수 있는가?
• RQ3 소수 클래스의 이벤트 속성에 대한 데이터 증강이 모델의 일반화 능력 향상과 편향 감소에 얼마나 기여하는가?
• RQ4 제안된 코퍼스가 재무 분야에서 강력하고 일반화 가능한 이벤트 추출 모델의 훈련에 기여할 수 있는가?
• RQ5 이벤트 강도, 극성, 가능성은 뉴스에서 경제 이벤트를 더 완전하고 실용적으로 표현하는 데 어떻게 기여하는가?

주요 결과

• 코퍼스는 425개 문서, 7,059개 문장, 10,578개의 이벤트, 22,267개의 역할을 포함하며, 다양한 이벤트 유형에 걸쳐 11,000개 이상의 이벤트가 애너테이션되었다.
• 상호 평가 일치도는 다수 작업에서 상당한 수준을 보였으며(Fleiss’ kappa > 0.60), 애너테이션 체계의 일관성과 품질을 확인하였다.
• 다섯 번의 주도적 학습 반복 과정을 거치며 모델 성능이 점진적으로 향상되었으며, 마이크로 F1 점수가 상승하고 불확실성 샘플링의 빈도는 모델 신뢰도 증가에 따라 감소하였다.
• 최소 신뢰도 샘플링 전략은 모호한 사례(예: 무역 긴장 vs. 지정학적 긴장)와 소수 클래스의 사례를 효과적으로 식별하였다.
• 강도 속성의 추가로 이벤트의 역동성을 더 세밀하게 표현할 수 있었으며, 이벤트 영향력이 악화되고 있는지 혹은 완화되고 있는지를 포괄하였다.
• 코퍼스는 재무 이벤트 추출 모델의 훈련 및 평가를 위한 벤치마크로 강력한 잠재력을 보였으며, 주도적 학습을 통한 기본 모델이 측정 가능한 성능 향상을 달성하였다.