[論文レビュー] Scene Text Recognition via Transformer

Xinjie Feng, Hongxun Yao+3 more|arXiv (Cornell University)|Mar 18, 2020

Handwritten Text Recognition Techniques被引用数 6

ひとこと要約

この論文では、画像の正規化を回避するため、畳み込み特徴マップを変換器エンコーダの入力として直接使用する、変換器ベースのシーンテキスト認識手法を提案する。空間アテンションを活用することで、任意形状のテキストに対処できる。CUTEデータセットでは99.3%の精度を達成し、以前のSOTAの89.6%を上回り、正規化は不要であり、アテンション機構のみで最先端の性能を達成可能であることを示している。

ABSTRACT

Scene text recognition with arbitrary shape is very challenging due to large variations in text shapes, fonts, colors, backgrounds, etc. Most state-of-the-art algorithms rectify the input image into the normalized image, then treat the recognition as a sequence prediction task. The bottleneck of such methods is the rectification, which will cause errors due to distortion perspective. In this paper, we find that the rectification is completely unnecessary. What all we need is the spatial attention. We therefore propose a simple but extremely effective scene text recognition method based on transformer [50]. Different from previous transformer based models [56,34], which just use the decoder of the transformer to decode the convolutional attention, the proposed method use a convolutional feature maps as word embedding input into transformer. In such a way, our method is able to make full use of the powerful attention mechanism of the transformer. Extensive experimental results show that the proposed method significantly outperforms state-of-the-art methods by a very large margin on both regular and irregular text datasets. On one of the most challenging CUTE dataset whose state-of-the-art prediction accuracy is 89.6%, our method achieves 99.3%, which is a pretty surprising result. We will release our source code and believe that our method will be a new benchmark of scene text recognition with arbitrary shapes.

研究の動機と目的

• 任意の形状、フォント、背景を持つシーンテキストを認識する課題に対処すること。
• 従来の手法で歪みや誤差を引き起こす画像正規化の必要性を排除すること。
• 変換器の空間アテンションが、正規化を代替して頑健なテキスト認識を可能にするかを検証すること。
• 不規則で任意形状のシーンテキスト認識のための新しいベンチマークを確立すること。

提案手法

• この手法は、画像を正規化せず、畳み込み特徴マップを変換器エンコーダの入力埋め込みとして直接使用する。
• 変換器の自己アテンション機構を活用し、不規則なテキストレイアウト間の空間的関係をモデル化する。
• 従来の変換器モデルがシーケンス生成にデコーダのみを用いるのに対し、本手法は特徴マップ入力を用いた完全なエンコーダ・デコーダ構造を採用する。
• モデルは、注意された特徴表現に条件づけられたデコーダを用いて、シーケンス予測タスクとしてテキスト認識を実装する。
• 幾何的正規化や正規化処理を一切行わないため、透視歪みを回避する。
• エンドツーエンドで学習可能であり、空間的および順序的依存関係を捉えるためにアテンションにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構のみを用いて画像正規化を省略した場合、シーンテキスト認識が効果的に行えるか？
• RQ2 生の特徴マップを入力として用いる変換器ベースのモデルは、正規化に基づくSOTA手法と比較して、不規則なテキスト認識でどのように性能を発揮するか？
• RQ3 特徴マップ入力と完全な変換器エンコーダ・デコーダ構造を用いることで、従来のアテンションベースの手法に比べてどの程度の性能向上が得られるか？
• RQ4 提案手法は、規則的および不規則なテキストレイアウトの両方で高い精度で一般化可能か？
• RQ5 正規化を省略することで、困難なベンチマークにおける認識精度に顕著な向上が見られるか？

主な発見

• 提案手法はCUTEデータセットで99.3%の精度を達成し、以前のSOTAの89.6%に対して顕著な向上を示した。
• 規則的および不規則なテキスト認識ベンチマークの両方で、すべての最先端手法を大きく上回る性能を発揮した。
• アブレーションスタディにより、正規化は不要であることが確認され、その除去により性能が向上した。
• 多様なテキスト形状、フォント、背景の変動に対しても、強力な一般化性能を示した。
• 結果から、変換器における空間アテンションが、幾何的正規化なしに高精度なシーンテキスト認識を実現するのに十分であることが示された。
• 著者らはソースコードを公開しており、本手法は任意形状のシーンテキスト認識の新しいベンチマークとして位置づけられる。