[논문 리뷰] Financial Document Causality Detection Shared Task (FinCausal 2020)

Dominique Mariko, Hanna Abi Akl외 4명|arXiv (Cornell University)|2020. 12. 04.

Topic Modeling참고 문헌 10인용 수 63

한 줄 요약

FinCausal 2020은 금융 문서에서 인과성 탐지를 위한 두 가지 작업 공유 태스크를 도입하며, 이진 텍스트 섹션 분류와 원인–결과 구간 추출 트랙으로 구성되고, 참가 시스템과 결과를 보고한다.

ABSTRACT

We present the FinCausal 2020 Shared Task on Causality Detection in Financial Documents and the associated FinCausal dataset, and discuss the participating systems and results. Two sub-tasks are proposed: a binary classification task (Task 1) and a relation extraction task (Task 2). A total of 16 teams submitted runs across the two Tasks and 13 of them contributed with a system description paper. This workshop is associated to the Joint Workshop on Financial Narrative Processing and MultiLing Financial Summarisation (FNP-FNS 2020), held at The 28th International Conference on Computational Linguistics (COLING'2020), Barcelona, Spain on September 12, 2020.

연구 동기 및 목표

• 금융 분야에서 암시적 및 다중 인과성 탐지를 향상시키기 위한 공개 가능한 FinCausal 코퍼스를 기여한다.
• 시스템 평가를 위한 두 가지 하위 작업(이진 인과 탐지 및 원인–결과 구간 추출)을 정의한다.
• 다양한 모델링 방법을 비교하기 위한 베이스라인과 리더보드를 제공한다.
• 금융에서의 인과성 탐지의 재현성과 코드 및 방법론의 공유를 촉진한다.

제안 방법

• Cause, QFact, Fact, 및 Discard/Remove에 대한 주석 체계를 갖춘 2019년 금융 뉴스에서 파생된 FinCausal 코퍼스를 정의한다.
• Task 1을 제안한다: 인과성을 포함하는 텍스트 섹션의 이진 분류.
• Task 2를 제안한다: 인과 텍스트 섹션 내에서 원인 및 결과 조각의 추출.
• Task 1은 가중 F1, 재현율, 정밀도를 기반으로 한 베이스라인 시스템과 평가 프로토콜을 제공하고, Task 2는 Exact Match를 추가로 사용한다.
• 제출물을 블라인드 평가 데이터셋으로 평가하고 팀당 다중 실행을 허용한다.

실험 결과

연구 질문

• RQ1 현대 모델이 불균형한 데이터에서 금융 텍스트 섹션의 인과 관계를 얼마나 효과적으로 탐지할 수 있는가? (Task 1)
• RQ2 시퀀스 라벨링 모델(예: BERT-CRF)이 인과 섹션 내에서 원인과 결과 조각을 정확히 식별하고 범위를 지정할 수 있는가? (Task 2)
• RQ3 Transformer 기반 접근법과 전통적 ML 접근법의 비교 강점은 무엇이며, 앙상블 및 데이터 증강이 작업 성능에 미치는 영향은 무엇인가?

주요 결과

• Six teams achieved top F1 scores above 95% on Task 1, with LIORI at 97.75%, UPB at 97.55%, and ProsperAMNet at 97.23%.
• Six teams utilized Transformer-based architectures and fine-tuning, often with ensembling, for Task 1.
• NTUNLP achieved the best Task 2 weighted F1 score of 94.72% using a BERT-CRF with Viterbi decoding for span optimization.
• GBe achieved 94.66% Task 2 weighted F1, using a BERT-SQuAD augmented system with span heuristics.
• Baseline results: Task 1 baseline 95.23 F1 and Task 2 baseline 51.06 F1; post-baseline improvements were reported by participating teams.