[論文レビュー] Arbitrarily-Oriented Text Recognition.

Zhanzhan Cheng, Xuyang Liu+4 more|arXiv (Cornell University)|Nov 12, 2017

Handwritten Text Recognition Techniques参考文献 36被引用数 14

ひとこと要約

本稿では、アテンションベースのデコーダーを用いて、自然画像内の任意の方向、曲がった、または透視図法的歪みを受けるテキストをエンドツーエンドで認識可能な深層学習モデル、任意方向ネットワーク（AON）を提案する。この手法は、CUTE80、SVT-Perspective、ICDARなどのデータセットにおいて、従来手法を著しく上回る最先端の性能を達成している。

ABSTRACT

Recognizing text from natural images is still a hot research topic in computer vision due to its various applications. Despite the enduring research of several decades on optical character recognition (OCR), recognizing texts from natural images is still a challenging task. This is because scene texts are often in irregular arrangements (curved, arbitrarily-oriented or seriously distorted), which have not yet been well addressed in the literature. Existing methods on text recognition mainly work with regular (horizontal and frontal) texts and cannot be trivially generalized to handle irregular texts. In this paper, we develop the arbitrary orientation network (AON) to capture the deep features of irregular texts (e.g. arbitrarily-oriented, perspective or curved), which are combined into an attention-based decoder to generate character sequence. The whole network can be trained end-to-end by using only images and word-level labels. Extensive experiments on various benchmarks, including the CUTE80, SVT-Perspective, IIIT5k, SVT and ICDAR datasets, show that the proposed AON-based method substantially outperforms the existing methods.

研究の動機と目的

• 自然シーン画像における不規則に傾いた、曲がった、または透視図法的歪みを受けるテキストの認識に取り組む。
• 水平方向および正面方向のテキストに限定される従来のOCR手法の制限を克服する。
• 深層特徴とアテンション機構を活用して正確なシーケンス生成を実現する統合的でエンドツーエンドで学習可能なフレームワークを開発する。
• 境界ボックスのアノテーションや複雑な後処理を必要とせず、画像と単語レベルのラベルのみで効果的な認識を可能にする。

提案手法

• 不規則なテキスト領域（曲がったものや透視図法的歪みを含む）から深層特徴を抽出するための任意方向ネットワーク（AON）を提案する。
• 抽出された特徴から文字列を生成するアテンションベースのデコーダーを統合し、特徴と出力の間の柔軟なアライメントを可能にする。
• インスタンスレベルのアノテーションを必要とせず、画像と単語レベルのラベルのみでネットワーク全体をエンドツーエンドで学習する。
• 任意の方向と幾何的歪みに対して頑健な空間的特徴表現を活用する。
• デコーディング中に関連する特徴領域に動的に注目できる微分可能アテンション機構を用いる。
• 空間的特徴学習を通じて、テキストの方向や透視図法的歪みに対して不変なアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、自然画像内の任意方向、曲がった、または透視図法的歪みを受けるテキストを効果的に認識できるか？
• RQ2 従来のシーケンス生成手法と比較して、エンドツーエンドで学習可能なアテンションベースのデコーダーは不規則なテキストに対してどのように性能を発揮するか？
• RQ3 境界ボックスの監視を受けていない画像と単語レベルのラベルでのみ学習されたモデルは、境界ボックスの監視なしに複雑なテキストレイアウトにどの程度一般化できるか？
• RQ4 標準的な不規則テキスト認識ベンチマークにおいて、提案されたAONフレームワークは既存手法に対してどの程度の性能向上を達成するか？

主な発見

• AONを用いた手法は、CUTE80データセットにおいて最先端の性能を達成し、曲がったテキストや任意方向のテキスト認識において、従来手法を著しく上回っている。
• SVT-Perspectiveデータセットでは、透視図法的歪みへの一般化能力が強く、既存のアプローチを精度面で上回っている。
• IIIT5kおよびSVTデータセットでも高い認識精度を達成しており、多様なテキストレイアウトにわたる頑健性を確認している。
• 単語レベルのラベルのみでエンドツーエンド学習することで、インスタンスレベルのアノテーションを必要とせず、効果的な特徴学習とシーケンス生成が可能である。
• アテンションベースのデコーダーは、可変長出力に対処でき、極めて歪んだテキストに対しても高い精度を維持している。
• 広範な実験により、AONフレームワークが複数のベンチマークで一貫して既存手法を上回っていることが確認され、その有効性と一般化能力が裏付けられている。