[論文レビュー] PERT: A Progressively Region-based Network for Scene Text Removal

Yuxin Wang, Hongtao Xie+3 more|arXiv (Cornell University)|Jun 24, 2021

Handwritten Text Recognition Techniques参考文献 35被引用数 6

ひとこと要約

PERTは、領域ベースの修正戦略（RegionMS）と共有パラメータを用いたバランスの取れたマルチステージ消去を導入することで、明示的な消去ガイドを提供する段階的領域ベースのネットワークを提案する。非テキスト領域への不要な変更を防ぎ、各ステージで均等な進行を確保することで、敵対的学習を用いずに39.40 PSNRというSOTA性能を達成し、71 FPSの高速推論と、従来手法比25%以上のパラメータ複雑度低減を実現した。

ABSTRACT

Scene text removal (STR) contains two processes: text localization and background reconstruction. Through integrating both processes into a single network, previous methods provide an implicit erasure guidance by modifying all pixels in the entire image. However, there exists two problems: 1) the implicit erasure guidance causes the excessive erasure to non-text areas; 2) the one-stage erasure lacks the exhaustive removal of text region. In this paper, we propose a ProgrEssively Region-based scene Text eraser (PERT), introducing an explicit erasure guidance and performing balanced multi-stage erasure for accurate and exhaustive text removal. Firstly, we introduce a new region-based modification strategy (RegionMS) to explicitly guide the erasure process. Different from previous implicitly guided methods, RegionMS performs targeted and regional erasure on only text region, and adaptively perceives stroke-level information to improve the integrity of non-text areas with only bounding box level annotations. Secondly, PERT performs balanced multi-stage erasure with several progressive erasing stages. Each erasing stage takes an equal step toward the text-erased image to ensure the exhaustive erasure of text regions. Compared with previous methods, PERT outperforms them by a large margin without the need of adversarial loss, obtaining SOTA results with high speed (71 FPS) and at least 25% lower parameter complexity. Code is available at https://github.com/wangyuxin87/PERT.

研究の動機と目的

• シーンテキスト除去における過剰消去問題に対処する。これは、非テキスト領域が暗黙のグローバル消去ガイドの影響を受けて不必要な変更を受けることによる。
• 不完全な消去問題を解決する。これは、1段階またはアンバランスなマルチステージ消去の後でも、テキストの残滓が残る状況を指す。
• バウンディングボックスレベルのアノテーションのみを用いて、領域固有の明示的消去ガイドを導入することで、再構築品質と効率を向上させる。
• 共有パラメータと最終的な消去画像への等ステップ進行を用いて、複数の消去ステージ間でバランスの取れた学習を実現する。
• 敵対的損失を排除しつつ、高い性能を維持し、リアルタイム推論を可能にする。

提案手法

• 予測されたテキスト領域にのみ変更を加えるように背景再構築ネットワーク（BRN）を明示的にガイドする領域ベースの修正戦略（RegionMS）を提案。これにより、非テキスト領域への不必要な変更が削減される。
• テキスト検出と背景再構築を、複数の消去ブロックにまたがる軽量で共有アーキテクチャとして分離設計する。
• すべての消去ブロックでパラメータを共有し、最終出力のみを監視することで、バランスの取れたマルチステージ消去を実装。これにより、各ステージが最終的な消去画像の達成に均等に寄与する。
• 局所的およびグローバルな知覚的類似性を考慮することで、特徴の整合性と視覚的品質を向上させるための領域-グローバル類似性損失（RG損失）を導入。
• ピクセルレベルのマスクを必要とせず、バウンディングボックスレベルのアノテーションのみでモデルを学習。これにより、テキスト検出ネットワーク（TLN）がストロークレベルの認識を可能にする。
• 各ステージが最終的な消去画像への小さなバランスの取れたステップを実行する段階的精錬戦略を採用。これにより、複雑または密集したテキストの完全な除去が可能になる。

実験結果

リサーチクエスチョン

• RQ1 予測されたテキスト領域に基づく明示的消去ガイドは、シーンテキスト除去における非テキスト領域への不必要な変更を低減できるか？
• RQ2 共有パラメータを用いたバランスの取れたマルチステージ消去は、効率を保ちながら完全なテキスト除去を向上させられるか？
• RQ3 領域固有のプログレッシブ消去を活用することで、敵対的学習を用いずに高品質な再構築が達成できるか？
• RQ4 ピクセルレベルの監視を要しないバウンディングボックスアノテーションを用いた明示的ガイドは、再構築忠実度において、ピクセルレベルの監視を要する手法と比べてどのように差がつくか？
• RQ5 パラメータ共有と各ステージにおける等ステップ進行は、アンバランスなマルチステージ手法と比較して、収束性と性能をどの程度向上させるか？

主な発見

• PERTはSCUT-EnsTextデータセットで39.40 PSNRというSOTA性能を達成し、EraseNet（38.32）やMTRNet++（34.55）といった先行手法を顕著に上回った。
• 71 FPSという高速な推論速度を達成し、実用的デプロイメントに適した高い効率性を示した。
• パラメータ数が14.0Mと、MTRNet++（18.7M）やEraseNet（19.7M）といった従来のマルチステージ手法と比較して少なくとも25%のパラメータ複雑度低減を達成した。
• 敵対的損失を用いたベースラインと比較して、収束が早く、より高い性能（33.24 PSNR 対 31.86）を80エポックで達成した（ベースラインは120エポック）。
• 領域-グローバル類似性損失により、消去結果における局所的ディテールとグローバルな整合性の両立が向上し、知覚的品質が向上した。
• 定性的および定量的分析を通じて、過剰消去（例：非テキスト領域でのテクスチャ歪み）と不完全な消去（例：残存テキストの痕跡）の両方を効果的に緩和した。