[논문 리뷰] The Causal News Corpus: Annotating Causal Relations in Event Sentences from News

Fiona Anting Tan, Ali Hürriyetoğlu외 8명|arXiv (Cornell University)|2022. 04. 25.

Topic Modeling인용 수 29

한 줄 요약

이 논문은 Causal News Corpus (CNC)를 소개합니다. 이진 데이터셋으로 뉴스 이벤트 문장이 인과 관계를 포함하는지 라벨링하고, BERT 기반 분류기와 PDTB-3 및 CTB를 이용한 크로스-데이터셋 전이를 평가합니다.

ABSTRACT

Despite the importance of understanding causality, corpora addressing causal relations are limited. There is a discrepancy between existing annotation guidelines of event causality and conventional causality corpora that focus more on linguistics. Many guidelines restrict themselves to include only explicit relations or clause-based arguments. Therefore, we propose an annotation schema for event causality that addresses these concerns. We annotated 3,559 event sentences from protest event news with labels on whether it contains causal relations or not. Our corpus is known as the Causal News Corpus (CNC). A neural network built upon a state-of-the-art pre-trained language model performed well with 81.20% F1 score on test set, and 83.46% in 5-folds cross-validation. CNC is transferable across two external corpora: CausalTimeBank (CTB) and Penn Discourse Treebank (PDTB). Leveraging each of these external datasets for training, we achieved up to approximately 64% F1 on the CNC test set without additional fine-tuning. CNC also served as an effective training and pre-training dataset for the two external corpora. Lastly, we demonstrate the difficulty of our task to the layman in a crowd-sourced annotation exercise. Our annotated corpus is publicly available, providing a valuable resource for causal text mining researchers.

연구 동기 및 목표

• 뉴스 문장에서 비절 구성과 다양한 구문을 수용하는 인과성에 대한 이진 주석 체계 생성
• 전문가 주석으로 수천 개의 문장을 포함하는 CNC 구축 및 공개
• CNC가 기존 인과성 코퍼스에 전이되고 관련 작업을 위한 모델을 사전 학습시킬 수 있음을 입증
• 크라우드소싱 주석의 한계와 전문가 주석의 필요성 제시

제안 방법

• PDTB-3 및 TimeML에서 영감을 받은 이벤트 인수 기준에 따라 protest news에서 3,559개의 영어 이벤트 문장을 인과성 또는 비인과성으로 주석화
• 다섯 명의 주석가 워크플로우와 지침 반복 보완 및 큐레이터를 통한 Krippendorff’s alpha 계산 및 최종 라벨 확정
• CNC에서 BERT 기반 이진 분류기를 학습 및 평가하고 LSTM 기반의 기준선 및 간단한 더미 기준선과 비교
• CNC, PDTB-3, CTB(Balanced 변형 포함)로 학습하고 CNC 테스트 및 외부 데이터셋에서 평가하여 교차 데이터셋 전이 테스트
• 전이 가능성 지표(Transferability Rate)를 도입하여 교차 데이터셋 성능을 정량화
• CNC를 사전 학습 데이터셋으로 활용해 bert-base-cased와 같은 PTM의 외부 코퍼스 미세조정 시 성능 향상 탐색

실험 결과

연구 질문

• RQ1 현대의 사전학습 언어모델을 이용해 CNC에서 F1이 높은 이진 인과 사건 문장 분류기를 달성할 수 있는가?
• RQ2 CNC가 PDTB-3 및 CTB와 같은 기존 인과성 코퍼스와 얼마나 잘 정렬되고 전이되는가?
• RQ3 전이 학습을 통해 다른 데이터셋의 인과 문장 분류기 사전 학습에 CNC가 개선을 가져올 수 있는가?
• RQ4 이 주제의 미묘한 주석 작업에 대해 크라우드소싱이 효과적인가, 아니면 전문가 주석이 필수적인가?
• RQ5 뉴스 문장의 비절 구성 및 다양한 인수 구성을 주석하기 위한 한계와 가이드라인은 무엇인가?

주요 결과

	F1	P	R	정확도	MCC
Row 1 All Causal	72.28	56.59	100.00	56.59	0.00
Row 2 Random	55.72	56.61	54.92	50.66	0.00
Row 3 CNC Training	81.20	78.01	84.66	77.81	54.52
Row 4 PDTB-3	55.43	81.32	42.05	61.74	32.09
Row 5 PDTB-3 Bal	64.45	77.60	55.11	65.59	34.75
Row 6 CTB	27.36	80.56	16.48	50.48	17.49
Row 7 CTB Bal	64.05	75.38	55.68	64.63	32.13

• CNC는 BERT 기준에서 CNC 테스트에서 81.20% F1, 77.81% 정확도, 54.52% MCC를 달성했습니다.
• CNC는 PDTB-3으로의 전이 가능성을 보이며 예: 55.43% F1, 81.32% P, 42.05% R 및 CTB Bal에서 (일부 설정에서) 64.05% F1로 전이 가능하고, 균형 잡힌 CTB가 성능을 향상시킵니다.
• CNC로 학습하면 CNC 테스트에서 강력한 성능을 얻고(표 3 행 3), 외부 코퍼스만 사용할 때보다 더 나은 전이 백본을 제공합니다.
• CNC에서의 사전 학습(CNC-PTM) 후 PDTB-3 또는 CTB Bal에서 미세 조정하면 비-CNC 기준선보다 F1 및 관련 지표가 향상합니다(표 5).
• CNC 서브세트의 크라우드소싱 주석은 낮은 일관성(Kappa ~1.62%)으로 나타나 이 작업의 복잡성과 전문가 주석의 필요성을 강조합니다.
• CNC는 이벤트 인과성(CTB)과 언어학적 인과성(PDTB) 코퍼스 간의 다리 역할을 제안하며 이 분야를 진전시키기 위한 공동 과제를 제안합니다.