[論文レビュー] Calamari - A High-Performance Tensorflow-based Deep Learning Package for Optical Character Recognition

Christoph Wick, Christian Reul+1 more|arXiv (Cornell University)|Jul 5, 2018

Handwritten Text Recognition Techniques被引用数 24

ひとこと要約

Calamari は、接続時分類（CTC）を用いたトレーニングおよびネイティブな事前学習と投票機能を備えた、TensorFlow に基づく高パフォーマンスな光学文字認識（OCR）用ディープラーニングフレームワークであり、現代英語（UW3）で 0.11% の文字誤り率（CER）、ドイツ語フラクツール（DTA19）で 0.18% の CER を達成し、OCRopy や OCRopus3、Tesseract 4 を上回る最先端の性能を発揮する。

ABSTRACT

Optical Character Recognition (OCR) on contemporary and historical data is still in the focus of many researchers. Especially historical prints require book specific trained OCR models to achieve applicable results (Springmann and L\\"udeling, 2016, Reul et al., 2017a). To reduce the human effort for manually annotating ground truth (GT) various techniques such as voting and pretraining have shown to be very efficient (Reul et al., 2018a, Reul et al., 2018b). Calamari is a new open source OCR line recognition software that both uses state-of-the art Deep Neural Networks (DNNs) implemented in Tensorflow and giving native support for techniques such as pretraining and voting. The customizable network architectures constructed of Convolutional Neural Networks (CNNS) and Long-ShortTerm-Memory (LSTM) layers are trained by the so-called Connectionist Temporal Classification (CTC) algorithm of Graves et al. (2006). Optional usage of a GPU drastically reduces the computation times for both training and prediction. We use two different datasets to compare the performance of Calamari to OCRopy, OCRopus3, and Tesseract 4. Calamari reaches a Character Error Rate (CER) of 0.11% on the UW3 dataset written in modern English and 0.18% on the DTA19 dataset written in German Fraktur, which considerably outperforms the results of the existing softwares.

研究の動機と目的

• 歴史的および現代のテキストのOCRモデルをトレーニングする際の手作業によるアノテーション作業を軽減すること。
• 事前学習やアンサンブル投票といった高度なディープラーニング技術をサポートする、高パフォーマンスでオープンソースのOCRシステムを開発すること。
• ドイツ語フラクツールなどの困難な歴史的スクリプトにおいて、最先端のディープニューラルネットワークを用いてOCRの正確性を向上させること。
• CTC損失関数を用いたカスタマイズ可能なCNN-LSTMアーキテクチャによるラインレベルOCRのための柔軟でカスタマイズ可能なフレームワークを提供すること。
• GPUアクセラレーションと最適化されたTensorFlow実装により、トレーニングと推論の効率を高めること。

提案手法

• システムは、畳み込みニューラルネットワーク（CNN）と長短期記憶（LSTM）層を組み合わせたカスタマイズ可能なディープニューラルネットワークアーキテクチャを採用している。
• シーケンスからシーケンスへのアライメントを明示的に必要としないため、入力と出力の間のアライメントなしに、接続時分類（CTC）アルゴリズムを用いてトレーニングが行われる。
• フレームワークは、一般化性能の向上とアノテーションの必要最小限化を目的として、大規模なラベルなしテキストデータを用いた事前学習をネイティブにサポートしている。
• 複数のモデル間での投票メカニズムを統合することで、予測のロバスト性と正確性が向上する。
• GPUアクセラレーションがサポートされており、トレーニングおよび推論時間の大幅な短縮が可能である。
• モデルは2つのベンチマークデータセット、UW3（現代英語）およびDTA19（ドイツ語フラクツール）でトレーニングおよび評価されている。

実験結果

リサーチクエスチョン

• RQ1 ネイティブな事前学習と投票機能を備えたディープラーニングベースのOCRシステムは、歴史的および現代のテキスト認識において優れた性能を発揮できるか？
• RQ2 CNN-LSTMアーキテクチャとCTCトレーニングの統合は、ドイツ語フラクツールのような困難なスクリプトにおいて文字誤り率をどのように改善するか？
• RQ3 事前学習は、OCRにおいて大規模な手作業によるアノテーション済み正解データの必要性をどの程度低減できるか？
• RQ4 Tesseract 4、OCRopus3、OCRopy といった既存のOCRツールと比較して、Calamari のパフォーマンスと効率性はいかがなものか？
• RQ5 GPUサポートを備えたTensorFlowベースのフレームワークは、OCRタスクにおけるトレーニングおよび推論時間を顕著に短縮できるか？

主な発見

• UW3データセット（現代英語テキストを含む）において、Calamari は 0.11% の文字誤り率（CER）を達成し、OCRopy や OCRopus3、Tesseract 4 を上回る性能を示した。
• ドイツ語フラクツールスクリプトを含むDTA19データセットにおいて、Calamari は 0.18% のCERを達成し、歴史的スクリプトにおける優れた性能を示した。
• 事前学習と投票メカニズムの統合により、特にリソースが限られた状況下でもモデルのロバスト性が向上し、誤り率が著しく低下した。
• GPUアクセラレーションにより、トレーニングおよび推論時間の大幅な短縮が実現され、複雑なモデルのトレーニングの実用性が向上した。
• CTCトレーニングを備えたカスタマイズ可能なCNN-LSTMアーキテクチャは、高精度なラインレベルOCRの強固な基盤を提供する。
• Calamari はオープンソースであり、拡張性に優れており、研究者が多様なOCR用途に合わせてこのシステムをカスタマイズできるように設計されている。