[論文レビュー] The Causal News Corpus: Annotating Causal Relations in Event Sentences from News

Fiona Anting Tan, Ali Hürriyetoğlu+8 more|arXiv (Cornell University)|Apr 25, 2022

Topic Modeling被引用数 29

ひとこと要約

本論文はCausal News Corpus (CNC) を提案し、ニュースイベント文が因果関係を含むかを二値でラベル付けするデータセットを作成・評価し、BERTベースの分類器とPDTB-3およびCTBとのクロス-dataset転移を検討する。

ABSTRACT

Despite the importance of understanding causality, corpora addressing causal relations are limited. There is a discrepancy between existing annotation guidelines of event causality and conventional causality corpora that focus more on linguistics. Many guidelines restrict themselves to include only explicit relations or clause-based arguments. Therefore, we propose an annotation schema for event causality that addresses these concerns. We annotated 3,559 event sentences from protest event news with labels on whether it contains causal relations or not. Our corpus is known as the Causal News Corpus (CNC). A neural network built upon a state-of-the-art pre-trained language model performed well with 81.20% F1 score on test set, and 83.46% in 5-folds cross-validation. CNC is transferable across two external corpora: CausalTimeBank (CTB) and Penn Discourse Treebank (PDTB). Leveraging each of these external datasets for training, we achieved up to approximately 64% F1 on the CNC test set without additional fine-tuning. CNC also served as an effective training and pre-training dataset for the two external corpora. Lastly, we demonstrate the difficulty of our task to the layman in a crowd-sourced annotation exercise. Our annotated corpus is publicly available, providing a valuable resource for causal text mining researchers.

研究の動機と目的

• ニュース文における事象因果性の二値注釈スキームを作成し、非節構造や多様な構文にも対応させる。
• 数千文の専門家注釈を付与したCNCを構築・公開する。
• CNCが既存の因果性コーパスへ転移することを示し、関連タスクの事前学習モデルとして利用できることを示す。
• このタスクのクラウドソーシング注釈の限界を示し、専門家注釈を動機づける。

提案手法

• PDTB-3とTimeMLに着想を得たイベント引数に基づく基準を用いて、プロテスト報道の英語イベント文3,559件を因果/非因果として注釈する。
• 5名の注釈者ワークフローを用い、反復的なガイドラインの改良とキュレーターを設けてKrippendorff’s alphaを算出しラベルを確定する。
• CNC上でBERTベースの二値分類器を訓練・評価し、LSTMベースラインおよび単純なダミー系ベースラインと比較する。
• CNC、PDTB-3、CTBで訓練し（バランス variantsを含む）、CNCテストおよび外部データセットで評価してコーパス間転移を検証する。
• 転移性指標（Transferability Rate）を導入しコーパス間の性能を定量化する。
• CNCを事前学習データセットとして活用し、外部コーパスでファインチューニングした際にbert-base-casedなどの事前学習済みモデルの性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 現代的な事前学習済み言語モデルを用いて、CNC上で二値の因果イベント文分類器が高いF1を達成できるか？
• RQ2 CNCはPDTB-3やCTBなど既存の因果性コーパスにどの程度整合性を持ち、転移できるか？
• RQ3 他のデータセットの因果文分類器の事前学習を転移学習を通じてCNCが改善できるか？
• RQ4 この微妙な注釈タスクにクラウドソーシングは有効か、それとも専門家注釈が必須か？
• RQ5 ニュース文の非節構造および多様な引数構成を注釈する際に必要な制限事項とガイドラインは何か？

主な発見

	F1	P	R	Acc	MCC
Row 1 All Causal	72.28	56.59	100.00	56.59	0.00
Row 2 Random	55.72	56.61	54.92	50.66	0.00
Row 3 CNC Training	81.20	78.01	84.66	77.81	54.52
Row 4 PDTB-3	55.43	81.32	42.05	61.74	32.09
Row 5 PDTB-3 Bal	64.45	77.60	55.11	65.59	34.75
Row 6 CTB	27.36	80.56	16.48	50.48	17.49
Row 7 CTB Bal	64.05	75.38	55.68	64.63	32.13

• CNCはBERTベースラインでCNCテストにおいて81.20%のF1、77.81%の精度、54.52%のMCCを達成した。
• CNCはPDTB-3へ転移性を示し（例: 55.43% F1、81.32% P、42.05% R）、CTB Balには（特定設定下で）64.05% F1、平衡化CTBは性能を向上させる。
• CNCでの訓練はCNCテストの強力な性能を生み出し（表3 行3）、外部コーパスのみを用いるよりも転移の基盤として優れている。
• CNC上で事前学習したモデル（CNC-PTM）をPDTB-3またはCTB Balでファインチューニングすると、非CNCベースラインよりF1および関連指標が改善される（表5）。
• CNCの一部に対するクラウドソーシング注釈は低性能（Kappa ~1.62%）、このタスクの複雑さと専門家注釈の必要性を浮き彫りにしている。
• CNCはイベント因果性（CTB）と言語的因果性（PDTB）コーパスの架け橋として提案され、分野の発展のための共同タスクが提案されている。