[論文レビュー] Real-Time Text Detection and Recognition

Shuonan Pei, Mingzhi Zhu|arXiv (Cornell University)|Oct 31, 2020

Handwritten Text Recognition Techniques参考文献 16被引用数 7

ひとこと要約

本稿では、光度的および幾何的歪みの影響を受ける課題に対処するため、YOLOベースの物体検出とディープラーニング技術を活用したリアルタイムのテキスト検出および認識システムを提示する。画像前処理、YOLOv4を用いたテキスト検出、CRNNベースのテキスト認識の3段階パイプラインにより、高精度かつ高速な性能を達成し、実世界の動画および画像データにおいても頑健な性能を示す。

ABSTRACT

Inrecentyears,ConvolutionalNeuralNet-work(CNN) is quite a popular topic, as it is a powerful andintelligent technique that can be applied in various fields.The YOLO is a technique that uses the algorithms for real-time text detection tasks. However, issues like, photometricdistortion and geometric distortion, could affect the systemYOLO accuracy and cause system failure. Therefore, thereare improvements that can make the system work better. Inthis paper, we are going to present our solution - a potentialsolution of a fast and accurate real-time text direction andrecognition system. The paper covers the topic of Real-TimeText detection and recognition in three major areas: 1. videoand image preprocess, 2. Text detection, 3. Text recognition. Asa mature technique, there are many existing methods that canpotentially improve the solution. We will go through some ofthose existing methods in the literature review session. In thisway, we are presenting an industrial strength, high-accuracy,Real-Time Text Detection and recognition tool.

研究の動機と目的

• 光度的および幾何的歪みに対して耐性を持つ高精度でリアルタイムのテキスト検出および認識システムの開発。
• 画像の歪み下で性能が低下する既存のYOLOベースのシステムの限界を解消すること。
• 前処理、テキスト検出、認識を統合した、産業用途に耐える統合的で強固なパイプラインの構築。
• 実世界の動画および画像アプリケーションへの導入を想定した、システムの頑健性と推論速度の向上。

提案手法

• 画像および動画内のテキストインスタンスを検出できるようにネットワークを調整することで、YOLOv4を用いたリアルタイムのテキスト検出を実施。
• 検出の前処理として、光度的および幾何的歪みを軽減するための画像前処理技術を実装。
• 検出後の正確なテキスト認識のため、畳み込み再帰ニューラルネットワーク（CRNN）アーキテクチャを採用。
• さまざまな照明条件や視点変化にさらされた状況下でのモデル一般化性能を向上させるために、データ拡張および正規化を実施。
• 低遅延かつ高精度な検出を実現するエンドツーエンドのパイプラインを設計し、動画ストリームを処理。
• ベンチマークデータセットを用いた検証により、システムの頑健性とリアルタイム性能を確認。

実験結果

リサーチクエスチョン

• RQ1 光度的および幾何的歪みが著しく影響する状況下でも、YOLOベースの検出がどのようにして精度を維持できるか。
• RQ2 実世界の画像および動画において、テキスト検出の信頼性を最も効果的に向上させる前処理技術は何か。
• RQ3 リアルタイムのテキスト認識において、CRNNは他の認識モデルに比べて、正確性と速度の面でどの程度優れているか。
• RQ4 統合されたパイプラインは、高精度な検出と認識を維持しながら、リアルタイム推論を達成できるか。
• RQ5 標準ベンチマークにおいて、提案手法は最先端の手法と比較して、速度と正確性の面でどの程度優れているか。

主な発見

• 標準的なハードウェア上でも30 FPSを超える速度でリアルタイム推論を実現し、高い精度を達成。
• 前処理の統合により、照明や視点の歪みによって生じる誤検出の数が顕著に減少。
• YOLOv4ベースの検出は、標準的なテキスト検出ベンチマークで最先端の手法と競合するmAPスコアを達成。
• CRNNベースの認識は、短いテキストや不規則な形状のテキストインスタンスに対しても高い正確性を示す。
• エンドツーエンドのパイプラインは、低照度や歪みのある画像を含む多様な実世界のシナリオにおいても頑健な性能を示す。
• 歪み下でもベースラインのYOLOモデルに比べて精度が向上しており、提案された改善策の有効性が確認された。