[論文レビュー] KPI-EDGAR: A Novel Dataset and Accompanying Metric for Relation Extraction from Financial Documents

Tobias Deußer, Syed Musharraf Ali+5 more|arXiv (Cornell University)|Oct 17, 2022

Advanced Text Analysis Techniques被引用数 4

ひとこと要約

本稿では、財務報告書の共同名前付きエンティティ認識および関係抽出のための新しい英語データセットKPI-EDGARを紹介する。このデータセットは、EDGARデータベースから得た手動アノテート済みの財務報告書を基に構築されたもので、キーパフォーマンスインジケーター（KPI）の抽出を目的としている。本稿では、エンティティの境界が曖昧であるという特徴を反映した重み付きF1スコアを提案し、KPIのスパンアノテーションにおける本質的な曖昧さを考慮することで、このノイズが多く、曖昧性のある分野において従来のF1スコアよりもモデル性能の評価をより正確に可能にする。

ABSTRACT

We introduce KPI-EDGAR, a novel dataset for Joint Named Entity Recognition and Relation Extraction building on financial reports uploaded to the Electronic Data Gathering, Analysis, and Retrieval (EDGAR) system, where the main objective is to extract Key Performance Indicators (KPIs) from financial documents and link them to their numerical values and other attributes. We further provide four accompanying baselines for benchmarking potential future research. Additionally, we propose a new way of measuring the success of said extraction process by incorporating a word-level weighting scheme into the conventional F1 score to better model the inherently fuzzy borders of the entity pairs of a relation in this domain.

研究の動機と目的

• 財務文書における共同KPI抽出のための、公開可能で手動アノテート済みのデータセットが不足しているという問題に取り組むこと。特に英語圏の文書を対象とする。
• エンティティ境界が曖昧または一貫性のないアノテーションである場合に、従来のF1スコアが関係抽出の評価に与える制限を克服すること。
• 高品質で公開可能なデータセットと評価指標をリリースすることで、財務NLP分野における再現可能でベンチマーク可能な研究を可能にすること。
• 財務文書のアノテーションにおける現実世界の曖昧性をモデル化することで、KPI抽出のためのより強固なモデルの開発を支援すること。
• 実際の企業報告書に基づいた標準化されたベンチマークと評価フレームワークを提供することで、将来的な財務NLP分野の研究を促進すること。

提案手法

• 米国EDGARデータベースから入手した10-K年次報告書を対象に、KPI-EDGARを構築した。対象は上場企業に限定された。
• 1,000文以上の文において、KPI、その数値（cy, py）、関連属性（例：増加、減少、それら）を手動でアノテートした。
• 予測されたエンティティスパンと正解スパンの単語レベルの重複に基づいて部分的評価を付与するという、従来の完全一致を要件としない、新しい重み付きF1スコアを設計した。
• ベンチマークの有効性を示すために、KPI-BERTを含む4つのベースラインモデルを実装した。
• 予測スパンと正解スパンの重複度合いを反映するように重み付けスキームを調整し、重複部分が長いほど高い重みを付与した。
• 従来のF1スコアと重み付きF1スコアをベースライン予測に対して比較することで、新しい評価指標の影響を評価し、部分的正答の事例を強調した。

実験結果

リサーチクエスチョン

• RQ1 公開可能な財務報告書から、高品質で一貫性のあるアノテーションを保つために、共同KPI抽出のためのデータセットをどのように構築できるか？
• RQ2 人間のアノテーターはKPIエンティティの境界についてどの程度合意が得られず、そのズレがモデル評価にどのような影響を与えるか？
• RQ3 エンティティスパンの部分的重複を考慮した重み付きF1スコアは、財務文書の文脈において、従来の厳密なF1スコアよりもモデル性能をよりよく反映できるか？
• RQ4 従来のモデルは、新しいKPI-EDGARデータセットに対して、従来のF1スコアと重み付きF1スコアの両方でどのように評価されるか？
• RQ5 曖昧なエンティティ境界は、財務NLPタスクにおける評価指標の設計にどのような意味を持つのか？

主な発見

• KPI-EDGARデータセットには、本物の10-K報告書から抽出された1,000以上のアノテート済み文が含まれており、KPI、その値（cy, py）、関連属性が詳細にラベル付けされている。
• Cohen’s Kappaスコアは、アノテーター間でKPI境界について著しい合意の欠如を示しており（kappa = 0.0822）、エンティティスパン定義における高い曖昧性を示している。
• 提案された重み付きF1スコアは、予測の部分的正答を的確に捉えることに成功しており、特に少数の単語が誤分類された場合の評価に有効である。
• 従来のF1スコアは、境界のわずかな誤差に対しても厳しいペナルティを課すが、重み付きF1スコアはより洗練され、現実に即した性能評価を可能にする。
• KPI-BERTなどのベースラインモデルは、重み付きF1スコアで評価された際に、従来のF1では見えなかった部分的予測の強みを明らかにした。
• 本研究では、重み付きF1スコアがアノテーションノイズに対してよりロバストであり、財務NLPタスクにおける現実世界のモデル挙動をよりよく反映していることが示された。