[论文解读] Financial Document Causality Detection Shared Task (FinCausal 2020)

Dominique Mariko, Hanna Abi Akl+4 more|arXiv (Cornell University)|Dec 4, 2020

Topic Modeling参考文献 10被引用 63

一句话总结

FinCausal 2020 引入了一个面向金融文档的因果关系检测的两任务共享任务，包含文本段落二元分类和因果-结果跨度提取轨道，并报告参赛系统及结果。

ABSTRACT

We present the FinCausal 2020 Shared Task on Causality Detection in Financial Documents and the associated FinCausal dataset, and discuss the participating systems and results. Two sub-tasks are proposed: a binary classification task (Task 1) and a relation extraction task (Task 2). A total of 16 teams submitted runs across the two Tasks and 13 of them contributed with a system description paper. This workshop is associated to the Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation (FNP-FNS 2020), held at The 28th International Conference on Computational Linguistics (COLING'2020), Barcelona, Spain on September 12, 2020.

研究动机与目标

• 为推进金融领域隐含性与多重因果检测，贡献一个公开可获取的 FinCausal 语料库。
• 定义两个子任务（二元因果检测和因果-结果跨度提取）以评估系统。
• 提供基线和排行榜以比较多样化建模方法。
• 鼓励在金融领域因果检测方面的可重复性和代码、方法学的共享。

提出的方法

• 定义以2019年金融新闻为基础的 FinCausal 语料库，具有 Cause、QFact、Fact、Discard/Remove 的注释方案。
• 提出任务1：对包含因果性的文本段落进行二元分类。
• 提出任务2：在因果性文本段落内提取 Cause 和 Effect 片段。
• 提供基线系统和基于加权 F1、召回率和精确率的任务1评估协议，以及任务2的 Exact Match。
• 在盲评估数据集上评估提交结果，并允许每个团队进行多次提交。

实验结果

研究问题

• RQ1 现代模型在不平衡数据下对金融文本段落中的因果关系（任务1）的检测效果如何？
• RQ2 序列标注模型（如 BERT-CRF）是否能够在因果段落内准确识别并定位 Cause 和 Effect 片段（任务2）？
• RQ3 基于 Transformer 的方法与传统机器学习方法的比较优势，以及集成和数据增强对任务性能的影响？

主要发现

• 六支团队在任务1上取得了高于95%的顶级 F1 分数，LIORI 97.75%，UPB 97.55%，ProsperAMNet 97.23%。
• 六支团队在任务1中使用了基于 Transformer 的架构并进行了微调，常与集成方法结合。
• NTUNLP 使用 BERT-CRF 并采用 Viterbi 解码进行跨度优化， Task 2 加权 F1 最高为 94.72%。
• GBe 使用 BERT-SQuAD 增强系统并结合跨度启发式，Task 2 加权 F1 为 94.66%。
• 基线结果：任务1基线 95.23 F1，任务2基线 51.06 F1；参赛团队报告了基线后的改进。