[論文レビュー] Digitizing Historical Balance Sheet Data: A Practitioner's Guide

Sergio Correia, Stephan Luck|arXiv (Cornell University)|Mar 31, 2022

Stock Market Forecasting Methods参考文献 40被引用数 9

ひとこと要約

本論文は、OCRに加えて事前および事後の処理技術を組み合わせることで、大規模な歴史的貸借対照表データを正確にデジタル化する実用的でオープンソースのフレームワーク—quipucamayoc—を提示する。クラウドベースのOCR、レイアウト解析、スペルチェック、会計的同一性の検証を活用することで、ノイズの多いスキャン画像に対しても高い正確性を達成し、経済史研究者がコスト効率よく大規模なデータ抽出を実現できる。

ABSTRACT

This paper discusses how to successfully digitize large-scale historical micro-data by augmenting optical character recognition (OCR) engines with pre- and post-processing methods. Although OCR software has improved dramatically in recent years due to improvements in machine learning, off-the-shelf OCR applications still present high error rates which limit their applications for accurate extraction of structured information. Complementing OCR with additional methods can however dramatically increase its success rate, making it a powerful and cost-efficient tool for economic historians. This paper showcases these methods and explains why they are useful. We apply them against two large balance sheet datasets and introduce quipucamayoc, a Python package containing these methods in a unified framework.

研究の動機と目的

• 高精度かつ低コストで、歴史的にスキャンされた文書から構造化された貸借対照表データを抽出する課題に対処すること。
• モジュラーで再利用可能なパイプラインを用いて、手動でのデータ入力に依存するのを減らし、デジタル化を自動化すること。
• OpenCV やクラウドOCR（例：AWS Textract）といった既存のツールを統合した実用的でオープンソースのソリューションを提供し、プログラミング経験が限られた研究者にも利用可能にすること。
• 研究者が低レベルのOCR管理ではなく、ドメイン固有の検証や誤り検出に集中できるようにすること。
• 2つの大規模で多様なデータセット（1867–1904年の米国国立銀行報告書、1915–1933年のドイツ企業の貸借対照表）を用いて、本手法の有効性を示すこと。

提案手法

• 事前処理（画像の湾曲補正、コントラスト調整）、OCRおよびレイアウト認識（商用エンジンを用いて、例：Google Vision、AWS Textract）、および検証ロジックを用いた事後処理からなる3段階のデータ抽出パイプラインの適用。
• 財務用語に特化したスペルチェッカーを活用し、数値およびテキストフィールドにおけるOCRの誤りを修正。
• 会計的同一性（例：貸借対照表の同一性：資産 = 負債 + 自己資本）を活用して、抽出されたデータの構造的不整合を検出し、是正。
• 研究者が「真値」データセットを構築することで、パイプラインの正確性をベンチマーク化・最適化する人間による検証ステップを実装。
• OCR統合、事前処理、検証ロジックをカプセル化したモジュラーなPythonパッケージ、quipucamayocを構築。コマンドラインインターフェースとプログラムインターフェースを両方備える。
• コマンドラインツール（例：`quipu extract -tables`）を活用し、小規模プロジェクトにおいてPythonコードを書かずに軽量なOCR処理を実行可能にすること。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、OCRを用いた歴史的貸借対照表のデジタル化を、大規模かつ高精度かつ低コストで実現できるか？
• RQ2 どのような事前および事後処理技術が、低品質なスキャン画像における構造的財務データのOCR正確性を顕著に向上させるか？
• RQ3 会計的同一性を用いて、貸借対照表データのOCR出力の検証および是正をどの程度まで行えるか？
• RQ4 統合的でオープンソースのソフトウェアフレームワークは、歴史的マイクロデータのデジタル化を求める経済史研究者の技術的障壁をどれほど低減できるか？
• RQ5 カスタムOCRエンジンを書かずに、研究者がどのようにしてOCRパイプラインを効率的に最適化できるか？

主な発見

• 95％の文字正確性を持つOCRを、60桁のテーブルに適用すると、誤り率が95％を超えることが判明し、事後処理の重要性が顕著に示された。
• 事前処理、スペルチェック、会計的同一性の検証を組み合わせたOCR処理により、誤り率が顕著に低下し、大規模データセットからの信頼性の高い抽出が可能になった。
• quipucamayocパッケージは、1867–1904年の米国国立銀行貸借対照表10万件以上、1915–1933年のドイツ企業貸借対照表3万件以上を高い正確性でデジタル化に成功した。
• 人間による検証がなされた真値データの活用により、研究者は正確性指標を構築し、パイプラインのパrameterを段階的に改善可能となった。
• quipucamayocのコマンドラインツールにより、プログラミング経験のない研究者でも、Pythonコードを書かずにOCR処理とデータ抽出が可能になった。
• フレームワークのモジュラー設計により、研究者はシンプルなスタートから始められ、必要に応じて複雑性を段階的に増やすことができ、過剰最適化を回避できた。