[論文レビュー] Incidental Scene Text Understanding: Recent Progresses on ICDAR 2015 Robust Reading Competition Challenge 4

Cong Yao, Jianan Wu+5 more|arXiv (Cornell University)|Nov 30, 2015

Handwritten Text Recognition Techniques参考文献 30被引用数 17

ひとこと要約

本論文では、インシデントシーンのテキスト理解のためのディープラーニングベースのアプローチを提示する。テキスト検出を完全畳み込みネットワーク（FCN）を用いたセマンティックセグメンテーションとして定式化し、CNN-LSTMとコネクティスト・テンポラル分類（CTC）を組み合わせて単語認識を実現し、両者を統合してエンドツーエンド認識を実現する。この手法は、ICDAR 2015 ロバストリーディングコンペティション サブミッション 4 において、テキストロケーションで F-スコア 0.6376、単語認識で 0.6399、強い文脈的条件下でのエンドツーエンド認識で 0.4674 の最先端性能を達成した。

ABSTRACT

Different from focused texts present in natural images, which are captured with user's intention and intervention, incidental texts usually exhibit much more diversity, variability and complexity, thus posing significant difficulties and challenges for scene text detection and recognition algorithms. The ICDAR 2015 Robust Reading Competition Challenge 4 was launched to assess the performance of existing scene text detection and recognition methods on incidental texts as well as to stimulate novel ideas and solutions. This report is dedicated to briefly introduce our strategies for this challenging problem and compare them with prior arts in this field.

研究の動機と目的

• ぼやけ、ずれ、照明不良、ごみだらけの状態にあるため、焦点を当てたテキストよりも本質的に複雑であるインシデントシーンのテキストを検出・認識する課題に対処する。
• 現実世界の制約のない自然画像に焦点を当てた、ICDAR 2015 ロバストリーディングコンペティション サブミッション 4 の既存手法を評価する。
• インシデントシーンのテキスト検出、単語認識、エンドツーエンド認識に特化した、新たな戦略を開発・検証する。
• 複雑な現実世界のデータにおいて、伝統的な局所的検出手法よりも、包括的でディープラーニングベースのアプローチの優位性を示す。

提案手法

• 完全畳み込みネットワーク（FCN）を用いて、各画素のテキスト領域である確率を予測することで、シーンテキスト検出をセマンティックセグメンテーション問題として定式化する。
• しきい値処理と連結成分解析を適用し、FCNの予測マップから最終的なテキストバウンディングボックスを生成する。
• 畳み込み層、長短期記憶（LSTM）再帰ネットワーク、およびコネクティスト・テンポラル分類（CTC）層を組み合わせたハイブリッド認識モデルを実装し、シーケンスモデリングを実現する。
• 初期認識出力を精緻化し、単語レベルの正確性を向上させるために、辞書ベースの誤り訂正モジュールを統合する。
• 提案された検出モデルと認識モデルを統合し、共同最適化と推論を実現するエンドツーエンドシステムを構築する。
• F-スコア、総編集距離（TED）、正しく認識された単語率（C.R.W.）を含む標準指標を用いて、ICDAR 2015 データセット上でモデルを学習・評価する。

実験結果

リサーチクエスチョン

• RQ1 インシデントシーンにおけるテキスト検出において、包括的でFCNベースのセマンティックセグメンテーションアプローチは、従来の局所的候補生成手法に比べてどのように異なるか？
• RQ2 辞書ベースの誤り訂正を組み合わせたCNN-LSTM-CTCアーキテクチャは、挑戦的なインシデントシーンのテキスト認識において、どの程度単語認識の正確性を向上させられるか？
• RQ3 検出と認識をエンドツーエンドシステムに統合することで、制約のない現実世界のデータにおいて、分離されたパイプラインよりも高い性能を達成できるか？
• RQ4 提案手法は、ICDAR 2015ベンチマークにおける異なる文脈的設定（強い、弱い、一般的）でどのように性能を発揮するか？
• RQ5 ICDAR 2015 サブミッション 4 およびサブミッション 1 データセットにおいて、先行の最先端手法に比べて、提案手法はどの程度の相対的改善を達成するか？

主な発見

• 提案されたテキスト検出手法（Megvii-Image++）は、ICDAR 2015 テキストロケーションタスクで F-スコア 0.6376 を達成し、前回の最先端（0.4984）を著しく上回った。
• 単語認識において、総編集距離（TED）を 377.9 まで低下させ、正しく認識された単語率（C.R.W.）を 0.6399 まで向上させ、前回の手法を著しく上回った。
• 強い文脈的条件下でのエンドツーエンド認識タスクにおいて、F-スコア 0.4674 を達成し、すべての競合手法の中で最高の性能を示した。
• より現実的であるとされる弱い文脈的条件下および一般的な条件下では、すべての指標がほぼ2倍に向上し、F-スコアはそれぞれ 0.400 と 0.3286 を達成した。
• ICDAR 2015 サブミッション 1（ボーンデジタル）データセットにおいても、強い設定下で F-スコア 0.8535 を達成し、最先端の性能を維持した。
• 本手法は、多様で挑戦的な現実世界のシーンテキストの状況において、頑健性と一般化能力を示し、高い性能を発揮した。