[論文レビュー] Towards automating Numerical Consistency Checks in Financial Reports

Lars Hillebrand, Tobias Deußer+5 more|arXiv (Cornell University)|Nov 11, 2022

Stock Market Forecasting Methods被引用数 4

ひとこと要約

KPI-Check は、ドイツ語の財務報告書における数値的一致性を自動化する BERT ベースのシステムであり、非構造化テキストと構造化テーブル（貸借対照表および損益計算書）の間で意味的に同等の重要な業績指標（KPI）を特定することで、その一貫性をチェックする。財務 NER と対照的自己符号化器（CAE）を組み合わせたテキストペア分類手法を採用し、保留テストセットで 73.00% のマイクロ F1 を達成し、手作業による監査作業を顕著に削減した。

ABSTRACT

We introduce KPI-Check, a novel system that automatically identifies and cross-checks semantically equivalent key performance indicators (KPIs), e.g. "revenue" or "total costs", in real-world German financial reports. It combines a financial named entity and relation extraction module with a BERT-based filtering and text pair classification component to extract KPIs from unstructured sentences before linking them to synonymous occurrences in the balance sheet and profit & loss statement. The tool achieves a high matching performance of $73.00$% micro F$_1$ on a hold out test set and is currently being deployed for a globally operating major auditing firm to assist the auditing procedure of financial statements.

研究の動機と目的

• 財務報告書間の KPI の数値的一致性を検証するための手作業による監査作業を削減すること。
• コピーピーストや複数著者によるプロセスに起因する頻発する数値的不一致を是正すること。
• KPI の不一致を早期に検出することで、投資家の信頼と企業の評判を向上させること。
• 非構造化テキストと財務テーブル（貸借対照表および損益計算書）の間で KPI を相互に照合する作業を自動化すること。
• 実世界の監査ワークフローに適合するスケーラブルで展開可能なシステムの開発

提案手法

• KPI-BERT と呼ばれる財務分野特化型 BERT モデルを用い、非構造化文から KPI とその数値を同時に抽出する。
• BERT を用いた文とテーブルの同時符号化モジュールを適用し、関連する文とテーブルのペアを特定して KPI の一致を検出する。
• 対照的自己符号化器（CAE）に基づくテキストペア分類ヘッドを採用し、KPI の表記間の意味的同等性を判定する。
• 不要な KPI ペアを削除することで、トレーニングデータのクラス不均衡を軽減するフィルタリングモジュールを統合する。
• 弱教師あり学習として、自動生成された数値一致を活用し、今後は手動アノテーションによる強化を計画する。
• 金額の一致を比較することで KPI ペアを検証し、スケール（例：百万）や通貨単位を考慮する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、非構造化テキストと構造化財務テーブルの間で意味的に同等の KPI を正確に同定できるか？
• RQ2 BERT ベースのアプローチは、現実のドイツ語財務報告書における数値的一致性の不備をどの程度効果的に検出できるか？
• RQ3 数値一致による自動弱教師あり学習は、信頼性の高い KPI 一致を支援するのにどの程度有効か？
• RQ4 フィルタリングは、正例 KPI ペアの再現率を損なわずに、データの不均衡をどのように軽減できるか？
• RQ5 四捨五入誤差や単位の不一致があるケースにも、システムは一般化して対応できるか？

主な発見

• KPI-Check は保留テストセットでマイクロ F1 スコア 73.00% を達成し、意味的に同等の KPI を検出する能力が優れていることを示した。
• システムは、四捨五入誤差や単位の不一致（例：'e' と 'Te'）を有する KPI を正しく同定でき、単純な数値一致では誤分類されるケースも回避できた。
• 現在年度と前年度の値が偶然一致するが KPI が無関係なケースであっても、誤検出（ファルス・ポジティブ）を回避して正しく検出できた。
• フィルタリングモジュールのおかげで、ネガティブ対ポジティブの KPI ペアの不均衡比が 395:1 から 46:1 にまで低下し、トレーニング効率が顕著に向上した。
• 手動アノテーションが不完全な状態でも、自動生成されたアノテーションに依存しているにもかかわらず、モデルは良好な一般化性能を示した。
• 本システムは現在、世界的な主要監査会計事務所に導入されており、初期のユーザーテストでは著しい効率向上が確認された。