[論文レビュー] TextCohesion: Detecting Text for Arbitrary Shapes

Weijia Wu, Jici Xing+1 more|arXiv (Cornell University)|Apr 22, 2019

Handwritten Text Recognition Techniques参考文献 44被引用数 5

ひとこと要約

TextCohesionは、テキストインスタンスをテキストスケルトン（TS）と4方向のピクセル領域（DPRs）に分解する画素単位のテキスト検出手法を提案する。このアプローチにより、任意形状のテキスト検出が可能となり、誤検出をフィルタリングする信頼性スコアリング機構を活用することで、Total-Textで84.6%、SCUT-CTW1500で86.3%の最先端（SOTA）Fスコアを達成し、曲線的・複雑なテキストベンチマークで優れた性能を発揮する。

ABSTRACT

In this paper, we propose a pixel-wise method named TextCohesion for scene text detection, which splits a text instance into five key components: a Text Skeleton and four Directional Pixel Regions. These components are easier to handle than the entire text instance. A confidence scoring mechanism is designed to filter characters that are similar to text. Our method can integrate text contexts intensively when backgrounds are complex. Experiments on two curved challenging benchmarks demonstrate that TextCohesion outperforms state-of-the-art methods, achieving the F-measure of 84.6% on Total-Text and bfseries86.3% on SCUT-CTW1500.

研究の動機と目的

• 複雑な背景における任意形状、特に曲線的・多方向のテキストインスタンスを検出する課題に対処すること。
• 文脈的情報を統合することで、テキストに類似した文字や記号による誤検出を低減すること。
• 標準的なバウンディングボックスに適合しない不規則な形状のテキストインスタンスの境界局所化精度を向上させること。
• 複雑なシーンに強く、多様なテキストレイアウトにおいても高い精度と再現率を維持できる手法を開発すること。
• 非テキスト的パターンを除外する信頼性スコアリング機構を導入し、検出の信頼性を向上させること。

提案手法

• TextCohesionは、各テキストインスタンスをテキストスケルトン（TS）と4方向のピクセル領域（DPRs）の組み合わせとしてモデル化し、中央経路と4方向からのエッジの微調整を表現する。
• テキストスケルトンを検出の初期化に用い、DPRに沿ってTSから外側へピクセルを伝搬させることで、完全なテキスト領域を再構築する。
• 各ピクセルは複数のDPRに属することができ、複数の回復経路を可能にし、部分的またはノイズの多いエッジに対しても耐性を高める。
• 信頼性スコアリング機構により、テキストスケルトン内のピクセルの平均信頼性スコアを計算し、しきい値（例：0.5）を超えるもののみを有効な候補とみなす。
• SynthTextで学習した深層学習ベースのネットワークを用い、ベンチマークデータセットで微調整し、異なるデータセットに適応するしきい値設定を実装する。
• 最適化にはAdamを使用し、学習率の減少を適用。推論はバッチサイズ4で単一GPUで実行。

実験結果

リサーチクエスチョン

• RQ1 テキストを中央スケルトンと方向別エッジ領域に分解することで、曲線的・不規則な形状のテキストにおける検出性能が向上するか？
• RQ2 テキストに類似した記号や文字による誤検出をフィルタリングする信頼性スコアリング機構は、どの程度効果的か？
• RQ3 方向別領域からのマルチパス伝搬は、複雑な背景における境界回復と検出精度を向上させるか？
• RQ4 固定形状のバウンディングボックスに依存せずに、多様なテキスト形状と方向性に一般化可能か？
• RQ5 文脈的情報の統合は、困難な検出状況における精度をどの程度向上させるか？

主な発見

• TextCohesionはTotal-TextベンチマークでFスコア84.6%を達成し、すべての先行SOTA手法を上回る性能を示した。
• SCUT-CTW1500ベンチマークではFスコア86.3%を達成し、新たなSOTA性能を樹立した。
• 信頼性スコアリング機構により、SCUT-CTW1500における精度が82.3%から88.0%に向上し、誤検出の低減効果が明確に示された。
• EAST や TextBox++ といった回帰ベースのモデルとは異なり、TextCohesionは曲線的テキストにおいて優れた性能を発揮し、非長方形形状に対しても強い。
• 複数の方向領域の使用により、隣接または重複するエッジがある場合の境界回復が特に向上した。
• アブレーションスタディの結果、信頼性スコアリング機構が、特にごみだらけのシーンにおいて検出の信頼性を顕著に向上させることを確認した。