[論文レビュー] Towards Accurate Scene Text Recognition with Semantic Reasoning Networks

Deli Yu, Xuan Li+4 more|arXiv (Cornell University)|Mar 27, 2020

Handwritten Text Recognition Techniques参考文献 45被引用数 56

ひとこと要約

本論文は、並列視覚特徴とグローバルな意味論的文脈を統合してエンドツーエンドのシーン文字認識を実現する Semantic Reasoning Network (SRN) と Global Semantic Reasoning Module (GSRM) を提案し、複数のベンチマークで最先端の結果を達成し、並列推論をより高速化しています。

ABSTRACT

Scene text image contains two levels of contents: visual texture and semantic information. Although the previous scene text recognition methods have made great progress over the past few years, the research on mining semantic information to assist text recognition attracts less attention, only RNN-like structures are explored to implicitly model semantic information. However, we observe that RNN based methods have some obvious shortcomings, such as time-dependent decoding manner and one-way serial transmission of semantic context, which greatly limit the help of semantic information and the computation efficiency. To mitigate these limitations, we propose a novel end-to-end trainable framework named semantic reasoning network (SRN) for accurate scene text recognition, where a global semantic reasoning module (GSRM) is introduced to capture global semantic context through multi-way parallel transmission. The state-of-the-art results on 7 public benchmarks, including regular text, irregular text and non-Latin long text, verify the effectiveness and robustness of the proposed method. In addition, the speed of SRN has significant advantages over the RNN based methods, demonstrating its value in practical use.

研究の動機と目的

• 視覚特徴だけに頼るのではなく、意味情報を用いてシーン文字認識を補助する動機付け。
• グローバルな意味論的文脈を並列にモデル化する、スケーラブルでエンドツーエンドで学習可能なフレームワークを開発する。
• 視覚的注意モジュール PVAM と 視覚-意味的フュージョンデコーダー VSFD を提案し、視覚的手がかりと意味的手がかりを統合する。
• 多様なテキストベンチマークに対する大規模な実験を通じて、効率性と頑健性を示す。

提案手法

• グローバルな視覚文脈を捉えるための ResNet50+FPN とトランスフォーマーユニットを備えたバックボーン。
• 並列で N 個の整列した1-D視覚特徴を生成する Parallel Visual Attention Module (PVAM)。
• 視覚-意味埋め込みブロックと、積み重ねられたトランスフォーマーユニットに基づく意味推論ブロックを用いて、意味特徴 S を生成する Global Semantic Reasoning Module (GSRM)。
• 最後の予測を得るために、ゲート付きユニットで視覚特徴 G と意味特徴 S を融合する Visual-Semantic Fusion Decoder (VSFD)。
• エンドツーエンドで学習可能な目的関数：損失 = 埋め込み損失 (L_e) + 推論損失 (L_r) + 最終デコード損失 (L_f)。

実験結果

リサーチクエスチョン

• RQ1 グローバルで多方向の意味推論は、一方向・逐次的な意味モデリングを超えてシーン文字認識を改善できるか？
• RQ2 視覚情報と意味情報を並列かつエンドツーエンドのフレームワークでいかに有効に融合できるか？
• RQ3 視覚特徴の並列注意とグローバル意味推論は、精度を維持しつつ推論を高速化するか？
• RQ4 SRN は lexicon なしで、regular、irregular、non-Latin の長文テキストデータのベンチマークでどの程度性能を発揮するか？
• RQ5 GSRM の構成（トランスフォーマーユニットの数）と融合戦略が性能に与える影響はどこにあるか？

主な発見

• GSRM を搭載した SRN は、regular、irregular、non-Latin の長文テキストデータを含む複数の公開ベンチマークで最先端の性能を達成する。
• PVAM は各ターゲット文字への視覚特徴の並列アライメントを実現し、時系列依存の注意機構より効率を向上させる。
• 意味文脈をグローバルにモデル化することで顕著な成果を生み、複数方向（並列）推論が一方向の意味推論より優れる。
• ゲート付き融合を用いる VSFD は視覚的手掛かりと意味手掛かりのバランスを効果的に取り、辞書なしで頑健な認識を実現。
• 並列処理により RNN ベースの意味モデルと比較して推論速度が向上し、特に長文テキストで高い精度を維持する。