[論文レビュー] MMOCR: A Comprehensive Toolbox for Text Detection, Recognition and Understanding

Zhanghui Kuang, Hongbin Sun+11 more|arXiv (Cornell University)|Aug 14, 2021

Handwritten Text Recognition Techniques参考文献 43被引用数 15

ひとこと要約

MMOCR は、テキスト検出、認識、理解（キーデータ抽出および固有名称認識を含む）のための最先端手法を統合したオープンソースで包括的なディープラーニングツールボックスです。14種類のSOTAアルゴリズムを実装し、豊富な事前学習モデル、ベンチマーク、デプロイメントツールを提供することで、OCR研究における再現性と産業応用の発展を顕著に促進しています。

ABSTRACT

We present MMOCR-an open-source toolbox which provides a comprehensive pipeline for text detection and recognition, as well as their downstream tasks such as named entity recognition and key information extraction. MMOCR implements 14 state-of-the-art algorithms, which is significantly more than all the existing open-source OCR projects we are aware of to date. To facilitate future research and industrial applications of text recognition-related problems, we also provide a large number of trained models and detailed benchmarks to give insights into the performance of text detection, recognition and understanding. MMOCR is publicly released at https://github.com/open-mmlab/mmocr.

研究の動機と目的

• OCRツールボックスの散在した状況に対処するため、テキスト検出、認識、理解の多様な手法を1つの拡張可能で統合されたフレームワークに統合すること。
• 異なるモデル間で、バックボーンやネックなどの主要コンponents（例：バックボーン、ネック）の公平な比較とモジュラーな実験を可能にすること。
• ONNX変換、軽量モデル、マルチプラットフォーム推論ツールを通じて、実用的で産業用途に適したデプロイメントを支援すること。
• 標準的および産業用データセット（多言語対応を含む）における包括的なベンチマークと事前学習モデルの提供。
• ドキュメントAI分野における研究開発を簡素化し、エンドツーエンドのOCRパイプラインをワンストップで提供すること。

提案手法

• MMOCR は、7つのテキスト検出（例：DB、PANet、FCENet）、5つのテキスト認識（例：CRNN、SAR、RobustScanner）、1つのキーデータ抽出（SDMG-R）、1つの固有名称認識（Bert-Softmax）を含む、合計14の最先端アルゴリズムを実装しています。
• ツールボックスは、MMDetection および MMRazor を基盤とするモジュラーで統合されたフレームワークを採用しており、バックボーンやネックなどの異なるコンponentsを即座に統合できるようにしています。
• データローディング、オーグメンテーション、評価を含む完全なパイプラインサポートにより、学習および推論が可能で、詳細なドキュメントとチュートリアルが提供されています。
• GPUフレンドリーな軽量モデル（例：ddrnet23-slim）を提供し、リソース制限のある環境でも効率的な推論を実現しています。
• さまざまなハードウェアプラットフォームでのデプロイメントを可能にするために、ONNXへのモデル変換をサポートしています。
• ICDAR、SynthText、IIT-AR-2015 を含む複数のデータセットで、可視化、デモ推論、ベンチマークのためのユーティリティツールを備えています。

実験結果

リサーチクエスチョン

• RQ1 統合的でモジュラーなフレームワークは、テキスト検出および認識モデルの再現性と比較可能性をどのように向上させるか？
• RQ2 テキスト検出モデルにおける異なるバックボーンおよびネックアーキテクチャの間で、性能と効率のトレードオフはどのようなものか？
• RQ3 1つのツールボックスが、検出から構造化された情報抽出に至るエンドツーエンドのOCRパイプラインをどの程度サポートできるか？
• RQ4 多言語および産業規模の事前学習モデルの統合は、現実世界のOCRデプロイメントにどのように寄与するか？
• RQ5 ddrnet23-slim のような軽量アーキテクチャは、テキスト検出における推論速度と精度にどのような影響を与えるか？

主な発見

• MMOCR は14の最先端アルゴリズムを実装しており、サポートされる手法の幅と深さにおいて、既存のオープンソースOCRツールボックスを上回っています。
• ddrnet23-slim バックボーンは、ResNet18 や ResNet50 に対してそれぞれ45%および21%のFLOPsにまで低減しながら、テキスト検出タスクにおけるH-mean性能の低下はわずかです。
• ネックアーキテクチャの観点では、PANベースのモデルにおいて FPEM_FFM（PAN由来）が最も高いH-meanを達成し、FLOPsも最低ですが、PSENet由来の FPNF は最も高いH-meanを達成していますが、FLOPsが著しく高くなっています。
• FPNF ネックのFLOPsは、DB由来の PFNC や FPEM_FFM よりも顕著に高いことから、精度と効率の間にはトレードオフがあることが示されています。
• MMOCR は、公的および産業用データセットに広く対応した豊富な事前学習モデルを提供しており、中国語テキスト認識モデルを含む多言語OCR対応を強化しています。
• ツールボックスはシームレスなONNXエクスポートを可能にし、多様なハードウェアプラットフォームへのデプロイメントを容易にし、産業用途において極めて重要です。