[論文レビュー] RRPN++: Guidance Towards More Accurate Scene Text Detection

Jianqi Ma|arXiv (Cornell University)|Sep 28, 2020

Handwritten Text Recognition Techniques参考文献 54被引用数 4

ひとこと要約

RRPN++ は、効率的でスケールに適応するプロポーザル生成を可能にするアンカーフリーのピラミッドプロポーザルネットワーク（APPN）を導入し、多タスク学習と共同フィルタリングを可能にする認識ブランチを統合することで、シーンテキスト検出を向上させた。これにより、ICDAR2015 において RRPN より 6% の F-measure の向上を達成し、より高速な推論速度を実現した。

ABSTRACT

RRPN is among the outstanding scene text detection approaches, but the manually-designed anchor and coarse proposal refinement make the performance still far from perfection. In this paper, we propose RRPN++ to exploit the potential of RRPN-based model by several improvements. Based on RRPN, we propose the Anchor-free Pyramid Proposal Networks (APPN) to generate first-stage proposals, which adopts the anchor-free design to reduce proposal number and accelerate the inference speed. In our second stage, both the detection branch and the recognition branch are incorporated to perform multi-task learning. In inference stage, the detection branch outputs the proposal refinement and the recognition branch predicts the transcript of the refined text region. Further, the recognition branch also helps rescore the proposals and eliminate the false positive proposals by the jointing filtering strategy. With these enhancements, we boost the detection results by $6\%$ of F-measure in ICDAR2015 compared to RRPN. Experiments conducted on other benchmarks also illustrate the superior performance and efficiency of our model.

研究の動機と目的

• RRPN の限界、特に手動で設計されたアンカーに依存することと粗いプロポーザルの最適化の問題を解決すること。
• アンカーに基づくプロポーザルをアンカーフリーで多スケールのプロポーザルネットワークに置き換えることで、検出精度と推論速度を向上させること。
• 認識の監視信号を多タスク学習を通じて検出性能の向上に活用するためのガイダンス信号として活用すること。
• 検出スコアと認識信頼度を併用した共同フィルタリングにより、誤検出を低減すること。
• ICDAR2013、ICDAR2015、COCO-Text を含む複数のベンチマークで最先端の性能を達成すること。

提案手法

• アンカーテンプレートを一切使用せず、特徴マップから直接プロポーザルを生成するアンカーフリーのピラミッドプロポーザルネットワーク（APPN）を提案し、プロポーザル数を削減し、推論を高速化する。
• 多スケールのテキストインスタンスのラベルを、異なる特徴ピラミッドレベルに割り当てることで、バランスの取れた効率的な多スケール検出学習を可能にする。
• 検出ヘッドに認識ブランチを統合し、エンドツーエンドの多タスク学習を可能にし、認識結果が検出の最適化を誘導する。
• 提案の精度を向上させるために、より正確な特徴表現を抽出するための RRoI Align を使用し、局所化精度を向上させる。
• 検出スコアと認識信頼度を併用した共同フィルタリングを適用し、プロポーザルの再スコアリングと誤検出の削除を実現する。
• 2段階の推論パイプラインを採用：最初の段階で APPN からプロポーザルを生成し、2段階目で検出ブランチで最適化、認識ブランチでトランスクリプト予測を実施する。

実験結果

リサーチクエスチョン

• RQ1 アンカーフリーのプロポーザル生成機構は、アンカーベースの手法と比較して、効率性と精度の面で向上をもたらすか？
• RQ2 認識ブランチを統合することで、多タスク学習を通じて検出性能がどのように向上するか？
• RQ3 検出スコアと認識スコアを併用した共同フィルタリングは、誤検出プロポーザルを効果的に低減できるか？
• RQ4 提案された APPN の設計は、多スケールテキスト検出性能をどの程度向上させるか？
• RQ5 認識監視の統合により、標準ベンチマークで F-measure に測定可能な向上が得られるか？

主な発見

• RRPN++ は ICDAR2015 ベンチマークにおいて RRPN より 6% の F-measure の絶対的向上を達成し、F-measure 89.5% を達成した。
• RRPN++ は ICDAR2013 においても回帰ベースの手法の中で最高の F-measure を記録し、F-measure 92.0%、推論速度 13.3 fps を達成した。
• COCO-Text では F-measure 64.6% を達成し、次に優れた手法より 1.6% の向上を示し、速度面でも大多数の先行手法を上回った。
• 認識ブランチは認識精度が最適化されていなくても検出性能を顕著に向上させた。これは、タスク間の監視信号の価値を示している。
• 検出スコアと認識信頼度を併用した共同フィルタリングは、誤検出の低減に効果的であり、全体の性能向上に寄与した。
• アンカーフリーの APPN の設計により、プロポーザル数が削減され、IoU に基づくラベル割り当ての必要性がなくなり、GPU メモリ使用量が低減され、学習効率が向上した。