[論文レビュー] Multimodal Document Analytics for Banking Process Automation

Christopher Gerling, Stefan Lessmann|arXiv (Cornell University)|Jul 21, 2023

Robotic Process Automation Applications被引用数 4

ひとこと要約

この論文では、テキスト、レイアウト、視覚的特徴を統合することで、銀行における文書分析の自動化にマルチモーダルな LayoutXLM モデルを提案している。これは、BERT や GPT などの単一モodal モデルを著しく上回る性能を発揮する。実証的に、LayoutXLM は訓練データの 30% のみで最大 F1 スコアの 75% 以上を達成できることを示しており、実世界の銀行応用において高い効率性と低いデータ依存性を示している。

ABSTRACT

Traditional banks face increasing competition from FinTechs in the rapidly evolving financial ecosystem. Raising operational efficiency is vital to address this challenge. Our study aims to improve the efficiency of document-intensive business processes in banking. To that end, we first review the landscape of business documents in the retail segment. Banking documents often contain text, layout, and visuals, suggesting that document analytics and process automation require more than plain natural language processing (NLP). To verify this and assess the incremental value of visual cues when processing business documents, we compare a recently proposed multimodal model called LayoutXLM to powerful text classifiers (e.g., BERT) and large language models (e.g., GPT) in a case study related to processing company register extracts. The results confirm that incorporating layout information in a model substantially increases its performance. Interestingly, we also observed that more than 75% of the best model performance (in terms of the F1 score) can be achieved with as little as 30% of the training data. This shows that the demand for data labeled data to set up a multi-modal model can be moderate, which simplifies real-world applications of multimodal document analytics. Our study also sheds light on more specific practices in the scope of calibrating a multimodal banking document classifier, including the need for fine-tuning. In sum, the paper contributes original empirical evidence on the effectiveness and efficiency of multi-model models for document processing in the banking business and offers practical guidance on how to unlock this potential in day-to-day operations.

研究の動機と目的

• 小規模銀行における文書の多様性とマルチモーダル性を分析すること。
• 純粋なテキスト処理を超えて、視覚的およびレイアウト特徴が文書分析に与える追加的価値を評価すること。
• 実世界の銀行文書分類タスクにおいて、LayoutXLM を BERT や GPT などの単一モダリティモデルと比較してベンチマークすること。
• マルチモーダルモデルを銀行分野に適用する際のデータ効率性とクラス不均衡に対するロバストネスを評価すること。
• 運用上の銀行プロセスにおけるマルチモーダルモデルの実装に向けた実用的指針を提供すること。

提案手法

• 本研究では、文書のテキストおよびレイアウト情報の両方を事前学習したマルチモーダルトランスフォーマー モデルである LayoutXLM を使用する。
• ドイツの会社登録情報抽出データセット（テキスト、表、視覚的構造を含む）を用いて、LayoutXLM を微調整する。
• F1 スコアを用いて性能を評価し、レイアウトおよび視覚的特徴の寄与を分離するためのアブレーションスタディを実施する。
• ゼロショットおよびフェイシュー（few-shot）設定において、強力なベースライン（BERT（テキスト専用）および GPT-3.5（大規模言語モデル））と比較する。
• データ効率性を評価するため、ラベル付きデータセットの増分的な割合（10% から 100% まで）で学習を行い、性能向上の度合いを測定する。
• クラス不均衡への対処として、手動によるデータバランス調整なしにモデル性能を分析し、本質的なロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 レイアウトおよび視覚的特徴は、テキスト専用モデルと比較して、銀行文書分類の性能をどの程度向上させるか？
• RQ2 銀行文書分析におけるマルチモーダル モデル（例：LayoutXLM）で高い性能を達成するために、どの程度のラベル付き訓練データが必要か？
• RQ3 複雑でマルチモーダルな銀行文書を分類する際、LayoutXLM は BERT や GPT-3.5 などの単一モダリティ モデルと比べてどの程度の性能を発揮するか？
• RQ4 データ拡張や重み付けの再調整なしに、LayoutXLM は銀行文書データセットに一般的に見られるクラス不均衡を効果的に処理できるか？
• RQ5 データおよび微調整の制約を考慮した場合、LayoutXLM を実世界の銀行業務に実装する上で実用的か？

主な発見

• LayoutXLM は全データで学習した場合、F1 スコア約 80% を達成しており、訓練データの 30% のみでこの性能の 75% 以上を達成できる。
• アブレーションスタディにより、レイアウトおよび視覚的特徴が性能向上に顕著な寄与をしていることが確認され、LayoutXLM は BERT や GPT-3.5 と比較して同タスクで優れた性能を示した。
• LayoutXLM はクラス不均衡に対してもロバストであり、手動によるデータバランス調整や前処理なしに、強力な性能を維持した。
• モデルの性能はデータ量が 200〜300 ページ程度まで急激に向上するが、以降は利益の逓減が顕著になるため、中程度のデータ量で十分な性能が得られることが示された。
• GPT-3.5 のような大規模言語モデルに対しても、銀行文書の文脈では微調整が必要であることが判明し、ゼロショット推論だけでは高精度な文書分析には不十分であることが示された。
• LayoutXLM のマルチモーダル設計により、表、テキスト、視覚的要素を含む複雑な文書から、単一モダリティ モデルよりも効果的に情報を抽出できるようになった。