[論文レビュー] SCATTER: Selective Context Attentional Scene Text Recognizer

Ron Litman, Oron Anschel+4 more|arXiv (Cornell University)|Mar 25, 2020

Handwritten Text Recognition Techniques参考文献 44被引用数 7

ひとこと要約

SCATTERは、不規則なテキストの認識を向上させるために、中間監視付きのスタックドブロックアーキテクチャと2段階のアテンションベースのデコーダーを提案する。深層BiLSTMエンコーダーの訓練を安定化させ、予測の段階的改善を可能にすることで、SCATTERは最先端の性能を達成し、従来手法に比べて不規則なテキストベンチマークで平均精度を3.7%向上させる。

ABSTRACT

Scene Text Recognition (STR), the task of recognizing text against complex image backgrounds, is an active area of research. Current state-of-the-art (SOTA) methods still struggle to recognize text written in arbitrary shapes. In this paper, we introduce a novel architecture for STR, named Selective Context ATtentional Text Recognizer (SCATTER). SCATTER utilizes a stacked block architecture with intermediate supervision during training, that paves the way to successfully train a deep BiLSTM encoder, thus improving the encoding of contextual dependencies. Decoding is done using a two-step 1D attention mechanism. The first attention step re-weights visual features from a CNN backbone together with contextual features computed by a BiLSTM layer. The second attention step, similar to previous papers, treats the features as a sequence and attends to the intra-sequence relationships. Experiments show that the proposed approach surpasses SOTA performance on irregular text recognition benchmarks by 3.7\% on average.

研究の動機と目的

• 任意の形状のテキスト、特に不規則に湾曲または歪曲したテキストの認識という課題に取り組むこと。これは、シーンテキスト認識分野における主要な障壁のままである。
• vanishing gradientsと最適化の難易度により、2層を超えると性能が低下する傾向がある深層BiLSTMエンコーダーの訓練を安定化させること。
• スタックドアーキテクチャにおける中間監視を可能にすることで、文脈モデリングを強化し、予測の段階的改善を実現すること。
• 複数の途中デコーダーを用いることで、予測の間でオラクル風の投票を可能にし、認識性能の向上の可能性を検討すること。
• 中間監視付きの繰り返し特徴処理が、深層ネットワークでさえも予測を次第に高精度に改善することを示すこと。

提案手法

• SCATTERは、各ブロックがCNNバックボーンとBiLSTMエンコーダーを介して視覚的特徴を処理するスタックドブロックアーキテクチャを採用し、各ブロックで中間監視を適用する。
• 中間監視は、複数段階で訓練信号を提供する補助デコーダーを介して実装され、深層BiLSTMエンコーダーの訓練を安定化させる。
• 選択的デコーダーは2段階の1次元アテンション機構を用いる：まず、視覚的特徴とBiLSTMからの文脈的特徴に注目し、次に融合特徴内の内部順序関係に注目する。
• このアーキテクチャにより、予測の段階的改善が可能となり、後続の各ブロックが前のブロックの結果を改善する。これは、中間デコーダーでの精度が上昇する様子からも示されている。
• 従来手法が2層を超えると性能が低下するのとは異なり、本手法は最大10層のBiLSTM層を有する深層エンコーダーの訓練を可能にし、精度が単調に向上する。
• 中間デコーダーの予測を統合するオラクル投票により、アンサンブルに類似した性能向上が実現可能である。

実験結果

リサーチクエスチョン

• RQ1 スタックドブロックアーキテクチャにおける中間監視は、シーンテキスト認識における深層BiLSTMエンコーダーの訓練を安定化させることができるか？
• RQ2 視覚的特徴と文脈的特徴を統合する2段階のアテンション機構は、特に不規則なテキストの認識精度を向上させるか？
• RQ3 中間監視付きの繰り返し処理により、シーンテキスト認識における予測が段階的に洗練されるか？
• RQ4 提案されたスタックドアーキテクチャと中間監視を用いた場合、BiLSTMエンコーダーの最大深度はどの程度まで有効に訓練可能か？
• RQ5 複数の中間デコーダーの予測から最良のものを選ぶオラクル戦略は、最終モデルを上回る性能向上を達成できるか？

主な発見

• SCATTERは、IC15やSVTPを含む不規則なテキストベンチマークで、最先端手法に比べて平均精度を3.7%向上させた。
• 深層BiLSTMエンコーダーを用いることで、精度が単調に向上し、10層で最適な性能に達するが、それ以上はわずかに低下する。
• 中間デコーダーは段階的改善を示しており、表3および図2に示すように、各ブロックで予測精度が向上している。
• 中間デコーダーの予測を統合するオラクル投票により、一部のデータセットで最大+5.0ポイントの精度向上が達成され、アンサンブル推論の強力な可能性が示された。
• 深層ネットワークでの学習と後続ブロックのプルーニングにより、浅層ネットワークを学習するのと比較して、より優れた性能が得られることが示された。これは、アーキテクチャの効率性向上を示唆している。
• 中間監視付きのスタックドブロックアーキテクチャにより、従来の研究で観察された劣化問題を克服し、深層BiLSTMエンコーダーの安定した訓練が可能になった。