[論文レビュー] Optimal Boxes: Boosting End-to-End Scene Text Recognition by Adjusting Annotated Bounding Boxes via Reinforcement Learning

Jingqun Tang, Wenming Qian+4 more|arXiv (Cornell University)|Jul 25, 2022

Handwritten Text Recognition Techniques被引用数 4

ひとこと要約

この論文では、エンドツーエンドのシーンテキスト認識のための精度向上を目的として、アノテートされたテキストバウンディングボックスを最適化する強化学習手法であるBox Adjusterを提案する。認識ベースの報酬を用いて、前景、背景、座標特徴を活用してボックス形状を調整するBoxDQNエージェントを訓練することで、ベンチマーク全体で平均2.0%、ドメイン適応タスクで4.6%のF-Score向上を達成し、推論コストは一切かからない。

ABSTRACT

Text detection and recognition are essential components of a modern OCR system. Most OCR approaches attempt to obtain accurate bounding boxes of text at the detection stage, which is used as the input of the text recognition stage. We observe that when using tight text bounding boxes as input, a text recognizer frequently fails to achieve optimal performance due to the inconsistency between bounding boxes and deep representations of text recognition. In this paper, we propose Box Adjuster, a reinforcement learning-based method for adjusting the shape of each text bounding box to make it more compatible with text recognition models. Additionally, when dealing with cross-domain problems such as synthetic-to-real, the proposed method significantly reduces mismatches in domain distribution between the source and target domains. Experiments demonstrate that the performance of end-to-end text recognition systems can be improved when using the adjusted bounding boxes as the ground truths for training. Specifically, on several benchmark datasets for scene text understanding, the proposed method outperforms state-of-the-art text spotters by an average of 2.0% F-Score on end-to-end text recognition tasks and 4.6% F-Score on domain adaptation tasks.

研究の動機と目的

• エンドツーエンドのシーンテキスト認識モデルで使用される深層表現と、タイトにアノテートされたテキストバウンディングボックスの間の不一致を解消すること。
• 認識の信頼度を最大化する最適なバウンディングボックス形状を学習することで、エンドツーエンドのシーンテキスト認識性能を向上させること。
• 合成データから実データへのドメイン移行のようなクロスドメイン設定におけるドメインシフトを軽減するために、グランドトゥルースのアノテーションを精緻化すること。
• 追加の推論コストが一切かからない汎用的なトレーニング段階の前処理手法を開発すること。
• ベジェ曲線表現を用いて任意形状のテキストに対しても応用可能な手法に拡張すること。

提案手法

• 認識の信頼度を最大化するように、バウンディングボックスの座標（x, y, 幅, 高さ, 回転）を調整する強化学習フレームワーク、BoxDQNを訓練する。
• BoxDQNエージェントは、前景画像パッチ、背景コンテキスト、空間座標を統合するための特徴統合モジュール（FFM）を用いる。
• 事前学習済みのテキスト認識器を用いて認識ベースの報酬信号を計算し、方策学習をガイドする。
• この手法は推論時ではなくデータセット準備段階でのみ適用されるため、ランタイムのオーバーヘッドが一切ない。
• 任意形状のテキストに対しては、固定された制御点（8個）を持つベジェ曲線を用いて可変長の多角形ボックスを表現し、最適化を可能にする。
• ハイパーパramータはアブレーションスタディによりチューニングされ、経験再生とターゲットネットワークを用いたDQNアルゴリズムでBoxDQNが訓練される。

実験結果

リサーチクエスチョン

• RQ1 アノテートされたバウンディングボックスを調整することで、タイトなグランドトゥルースボックスを使用する場合よりも、エンドツーエンドのシーンテキスト認識性能が向上するか？
• RQ2 提案手法の強化学習ベースのボックス調整法は、合成データから実データへの転移学習においてドメインシフトをどのように軽減するか？
• RQ3 ボックス調整エージェントにとって最適な入力表現は何か——前景のみ、それとも背景と座標を含むか？
• RQ4 BoxDQNが最適なボックス調整に収束するまでに必要なトレーニングイテレーション数はどの程度か？
• RQ5 固定表現のベジェ曲線を用いることで、任意形状のテキストに対してもこの手法を拡張可能か？

主な発見

• 提案手法のBox Adjusterは、最先端の手法と比較して、標準的なエンドツーエンドのテキスト認識ベンチマークで平均F-Scoreを2.0%向上させる。
• ドメイン適応タスク（例：合成データから実データへの移行）では、既存の手法と比較してF-Scoreに相対的に4.6%の向上を達成する。
• 背景と座標特徴を含む特徴統合モジュール（FFM）は、前景画像のみを用いたDQNと比較して、F-Scoreで0.6%の向上をもたらす。
• BoxDQNの最適なトレーニングイテレーション数は20回であり、最小限の計算コストで最良の性能が得られる。
• 任意形状のテキストを含むTotalTextデータセットでは、ベジェ曲線表現を用いることでF-Scoreが61.5から63.8に向上する。
• アブレーションスタディにより、この手法は異なる認識・検出バックボーンに対して一般化可能であり、一貫した性能向上が確認された。