[論文レビュー] Exploring the Capacity of Sequential-free Box Discretization Network for Omnidirectional Scene Text Detection.

Yuliang Liu, Tong He+6 more|arXiv (Cornell University)|Dec 20, 2019

Handwritten Text Recognition Techniques参考文献 52被引用数 4

ひとこと要約

本稿では、四角形ボックスをキーベースに離散化し、一致手順を用いて正確な頂点位置を再構築することで、学習の曖昧性を解消する、オムニディレクショナルシーンテキスト検出のための新規手法であるSequential-free Box Discretization (SBD) を提案する。SBDは、ICDAR 2015、MLT、ICDAR2019 Robust Reading Challenge で最先端の性能を達成し、中国語看板テキストにおいても優れた汎化性能を示している。

ABSTRACT

Omnidirectional scene text detection has received increasing research attention. Previous methods directly predict words or text lines of quadrilateral shapes. However, most methods neglect the significance of consistent labeling, which is important to maintain a stable training process, especially when a large amount of data are included. For the first time, we solve the problem in this paper by proposing a novel method termed Sequential-free Box Discretization (SBD). The proposed SBD first discretizes the quadrilateral box into several key edges, which contains all potential horizontal and vertical positions. In order to decode accurate vertex positions, a simple yet effective matching procedure is proposed to reconstruct the quadrilateral bounding boxes. It departs from the learning ambiguity which has a significant influence during the learning process. Exhaustive ablation studies have been conducted to quantitatively validate the effectiveness of our proposed method. More importantly, built upon SBD, we provide a detailed analysis of the impact of a collection of refinements, in the hope to inspire others to build state-of-the-art networks. Combining both SBD and these useful refinements, we achieve state-of-the-art performance on various benchmarks, including ICDAR 2015, and MLT. Our method also wins the first place in text detection task of the recent ICDAR2019 Robust Reading Challenge on Reading Chinese Text on Signboard, further demonstrating its powerful generalization ability. Code is available at https://tinyurl.com/sbdnet.

研究の動機と目的

• 四角形ベースのシーンテキスト検出における不一致ラベルが引き起こす学習の不安定性を解消する。
• テキスト検出における四角形頂点の逐次予測に内在する学習の曖昧性を排除する。
• 大規模データセットでの学習中に一貫性と安定性を保証するラベル付け方式を開発する。
• オムニディレクショナルシーンにおける任意形状テキストの正確で強固な検出を可能にする。
• 体系的なアブレーションと最適化解析を通じて、最先端のテキスト検出ネットワークの構築基盤を提供する。

提案手法

• 四角形バウンディングボックスを、すべての潜在的な水平および垂直位置を捉えるキーエッジの集合に離散化する。
• 単純だが効果的な一致手順を用いて、離散化されたエッジから元の四角形を再構築する。
• 頂点予測を逐次的生成から分離することで、自己回帰的デコードに依存せず、曖昧性を低減する。
• 予測を離散化されたキーエッジと一致させることで、学習中の一貫性と安定性を保証するラベル付け方式を設計する。
• SBDを検出ネットワークアーキテクチャに統合し、収束性と精度が向上するエンドツーエンド学習を可能にする。
• SBDの上位に、損失重み付けやデータ拡張などの一連の最適化を適用し、さらなる性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 逐次的予測を排除することで、四角形ベースのテキスト検出における学習の安定性と検出精度はどのように向上するか？
• RQ2 離散化による一貫性のあるラベル付けは、大規模テキスト検出における学習の曖昧性をどの程度低減するか？
• RQ3 SBDは、ICDAR2015、MLT、中国語看板データセットを含む多様なベンチマークにおいて、どの程度の汎化性能を示すか？
• RQ4 SBDを超える最適化手法の中で、ベンチマークデータセットにおける性能向上に最も寄与するのはどれか？
• RQ5 SBDは、複雑な逐次的デコード機構に依存せずに、最先端の性能を達成できるか？

主な発見

• SBDは、ICDAR 2015ベンチマークで最先端の性能を達成し、従来手法よりもテキスト検出精度と学習の安定性に優れている。
• MLTベンチマークでもトップパフォーマンスを記録し、多言語および多様なシーンテキストへの強力な汎化性能を示している。
• SBDは、中国語看板テキストの検出タスクでICDAR2019 Robust Reading Challengeで第1位を獲得し、困難な実世界シナリオにおける耐障害性を確認した。
• アブレーションスタディにより、SBDが学習の曖昧性を顕著に低減し、学習中の収束速度とモデルの安定性を向上させることを確認した。
• SBDと戦略的な最適化を組み合わせることで、複数のベンチマークで一貫した性能向上が得られ、提案フレームワークの有効性を裏付けた。
• コードとトレーニング済みモデルは公開されており、順序フリーなテキスト検出分野における再現性とさらなる研究を可能にしている。