[論文レビュー] Real-Time Scene Text Detection with Differentiable Binarization and Adaptive Scale Fusion

Minghui Liao, Zhisheng Zou+3 more|arXiv (Cornell University)|Feb 21, 2022

Handwritten Text Recognition Techniques被引用数 12

ひとこと要約

本稿では、セグメンテーションネットワーク内でのバイナリゼーションの共同最適化を可能にするDifferentiable Binarization (DB)モジュールと、適応的マルチスケール特徴抽出によるスケール耐性向上を図るAdaptive Scale Fusion (ASF)モジュールを統合したリアルタイムシーンテキスト検出器DBNet++を提案する。本手法は5つのベンチマークで最先端の精度と速度を達成し、ResNet-18を用いた場合、CTW1500で3.6%、MSRA-TD500で2.9%のF-measure向上を達成しながら、リアルタイム推論を維持している。

ABSTRACT

Recently, segmentation-based scene text detection methods have drawn extensive attention in the scene text detection field, because of their superiority in detecting the text instances of arbitrary shapes and extreme aspect ratios, profiting from the pixel-level descriptions. However, the vast majority of the existing segmentation-based approaches are limited to their complex post-processing algorithms and the scale robustness of their segmentation models, where the post-processing algorithms are not only isolated to the model optimization but also time-consuming and the scale robustness is usually strengthened by fusing multi-scale feature maps directly. In this paper, we propose a Differentiable Binarization (DB) module that integrates the binarization process, one of the most important steps in the post-processing procedure, into a segmentation network. Optimized along with the proposed DB module, the segmentation network can produce more accurate results, which enhances the accuracy of text detection with a simple pipeline. Furthermore, an efficient Adaptive Scale Fusion (ASF) module is proposed to improve the scale robustness by fusing features of different scales adaptively. By incorporating the proposed DB and ASF with the segmentation network, our proposed scene text detector consistently achieves state-of-the-art results, in terms of both detection accuracy and speed, on five standard benchmarks.

研究の動機と目的

• セグメンテーションベースのシーンテキスト検出器における後処理の非効率性と不正確さを解消するため、バイナリゼーションをトレーニングパイプラインに統合すること。
• 固定のマルチスケール特徴抽出を適応的かつ注意メカニズムに基づく統合に置き換えることで、テキスト検出におけるスケール耐性を向上させること。
• 任意の形状や極端なアスペクト比を持つテキストに対しても、高精度な検出とリアルタイム推論速度を両立させること。
• カンferンス版DBNetを拡張し、スケール一般化能力の向上とDBモジュールの理論的分析を実現すること。

提案手法

• 標準のしきい値ベースのバイナリゼーションに代わり、学習可能で微分可能なしきい値マップを用いる微分可能なバイナリゼーション（DB）モジュールを導入し、エンド・ツー・エンド最適化を可能にする。
• 予測されたしきい値マップを用いて、近似可能な微分可能な関数によりセグメンテーションマップをバイナリゼーションする。これにより、バイナリゼーション段階を逆伝播可能にする。
• 段階的および空間的注意を組み合わせたAdaptive Scale Fusion（ASF）モジュールを提案し、コンテンツと空間的文脈に基づいて動的にマルチスケール特徴を重みづけする。
• DBモジュールとASFモジュールをセグメンテーションベースの検出器アーキテクチャに統合し、セグメンテーション、バイナリゼーション、特徴統合の共同最適化を可能にする。
• 空間的詳細を保持するためのスキップ接続を備えたU-Netスタイルのエンコーダ・デコーダバックボーンを採用し、正確なテキストインスタンスの局所化を実現する。
• DBモジュールのための教師強化学習用に、テキストインスタンスをその中心線にまで収縮させる「収縮マップヘッド」を採用する。

実験結果

リサーチクエスチョン

• RQ1 バイナリゼーションを微分可能にし、セグメンテーションと共同最適化することで、検出精度の向上が図れるか？
• RQ2 マルチスケール特徴の適応的・注意ベースの統合は、固定の特徴ピラミッド統合に比べてスケール耐性を向上させるか？
• RQ3 微分可能なバイナリゼーションと適応的スケール統合の統合により、精度と推論速度の両面で最先端の性能が達成できるか？
• RQ4 特にアスペクト比が極端なデータセットにおいて、モデルの性能はどのように現れるか？

主な発見

• ResNet-18を用いた場合、CTW1500で3.6%のF-measureの絶対的向上、MSRA-TD500で2.9%の向上を達成し、強力なスケール耐性を示した。
• ResNet-50バックボーンを用いた場合、MLT-2019でF-measure 87.2を達成し、先行研究を1.3%上回った。
• リアルタイム推論速度を維持し、MSRA-TD500でResNet-50を用いた場合に29 FPSを達成しながら、精度で先行手法を上回った。
• ASFモジュールの性能向上は、データセットのスケール多様性と正の相関を示し、複雑でマルチスケールなシーンにおいて有効であることを確認した。
• DBモジュールによりヒューリスティックな後処理への依存が低減され、エンド・ツー・エンド学習による検出品質の向上が可能になった。
• 「テキストの中にテキスト」のケースでは、セグメンテーションベースの検出器の既知の限界として、1つのテキストインスタンスが完全に他のインスタンスに内包される場合に性能が劣化する。