[論文レビュー] Financial Document Causality Detection Shared Task (FinCausal 2020)

Dominique Mariko, Hanna Abi Akl+4 more|arXiv (Cornell University)|Dec 4, 2020

Topic Modeling参考文献 10被引用数 63

ひとこと要約

FinCausal 2020は、金融文書における因果検出のための二タスク共有タスクを導入し、バイナリのテキストセクション分類と因果関係のスパン抽出トラックを含み、参加システムと結果を報告する。

ABSTRACT

We present the FinCausal 2020 Shared Task on Causality Detection in Financial Documents and the associated FinCausal dataset, and discuss the participating systems and results. Two sub-tasks are proposed: a binary classification task (Task 1) and a relation extraction task (Task 2). A total of 16 teams submitted runs across the two Tasks and 13 of them contributed with a system description paper. This workshop is associated to the Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation (FNP-FNS 2020), held at The 28th International Conference on Computational Linguistics (COLING'2020), Barcelona, Spain on September 12, 2020.

研究の動機と目的

• 公に入手可能なFinCausalコーパスを提供して、金融分野における暗黙的および複数の因果検出を促進する。
• 二つのサブタスク（バイナリ因果検出と因果関係スパン抽出）を定義してシステムを評価する。
• ベースラインとリーダーボードを提供して多様なモデリング手法を比較できるようにする。
• 金融における因果検出の再現性とコード・手法の共有を奨励する。

提案手法

• FinCausalコーパスを2019年の金融ニュースから派生させ、Cause, QFact, Fact, Discard/Removeのアノテーションスキームを定義する。
• Task 1: 因果性を含むテキストセクションの二値分類を提案する。
• Task 2: 因果テキストセクション内のCauseおよびEffectの塊を抽出する。
• Task 1のための基準系と評価プロトコルを、重み付きF1、リコール、精度で、Task 2はExact Matchを提供する。
• 提出物をブラインド評価データセットで評価し、チームごとに複数の実行を許可する。

実験結果

リサーチクエスチョン

• RQ1 現代のモデルは、不均衡データにおける金融テキストセクション（Task 1）で因果関係をどの程度効果的に検出できるか？
• RQ2 シーケンスラベリングモデル（例：BERT-CRF）は、因果セクション内のCauseとEffectの塊を正確に識別し、スパンを特定できるか（Task 2）？
• RQ3 Transformerベースのアプローチと従来のMLアプローチの比較上の強みは何か、エンsemblingとデータ拡張がタスクの性能に与える影響はどの程度か？

主な発見

• Six teams achieved top F1 scores above 95% on Task 1, with LIORI at 97.75%, UPB at 97.55%, and ProsperAMNet at 97.23%.
• Six teams utilized Transformer-based architectures and fine-tuning, often with ensembling, for Task 1.
• NTUNLP achieved the best Task 2 weighted F1 score of 94.72% using a BERT-CRF with Viterbi decoding for span optimization.
• GBe achieved 94.66% Task 2 weighted F1, using a BERT-SQuAD augmented system with span heuristics.
• Baseline results: Task 1 baseline 95.23 F1 and Task 2 baseline 51.06 F1; post-baseline improvements were reported by participating teams.