[論文レビュー] Improving Rotated Text Detection with Rotation Region Proposal Networks

Jing Huang, Viswanath Sivakumar+2 more|arXiv (Cornell University)|Nov 16, 2018

Digital Media Forensic Detection参考文献 1被引用数 14

ひとこと要約

本稿では、Faster R-CNNにおける標準的なRPNを回転境界ボックス予測に置き換えることで、回転したテキスト検出を向上させる回転領域提案ネットワーク（RRPN）を提案する。RRoI-Alignを用いて特徴のアライメントを改善し、対称的な$(-90^\circ, 90^\circ)$の方向範囲を採用することで、精度を大幅に向上させるとともに、int8量子化と最適化されたCPUオペレータにより推論速度を維持する。

ABSTRACT

A significant number of images shared on social media platforms such as Facebook and Instagram contain text in various forms. It's increasingly becoming commonplace for bad actors to share misinformation, hate speech or other kinds of harmful content as text overlaid on images on such platforms. A scene-text understanding system should hence be able to handle text in various orientations that the adversary might use. Moreover, such a system can be incorporated into screen readers used to aid the visually impaired. In this work, we extend the scene-text extraction system at Facebook, Rosetta, to efficiently handle text in various orientations. Specifically, we incorporate the Rotation Region Proposal Networks (RRPN) in our text extraction pipeline and offer practical suggestions for building and deploying a model for detecting and recognizing text in arbitrary orientations efficiently. Experimental results show a significant improvement on detecting rotated text.

研究の動機と目的

• 回転したシーンテキスト、特に20°程度の微小な角度でも性能が低い標準的なオブジェクト検出器の課題を解決すること。
• ソーシャルメディアプラットフォームにおける安全性とアクセシビリティを向上させるために、任意の向きのテキストをエンドツーエンドで検出可能にする。
• モデル量子化と最適化されたオペレータを用いることで、回転テキスト検出をサポートしつつ推論効率を維持すること。
• ロゼッタのようなテキスト検出システムの誤検出率を低下させ、非水平テキストをより正確に処理すること。

提案手法

• Faster R-CNNにおける標準的な領域提案ネットワーク（RPN）を、回転境界ボックスを予測する回転領域提案ネットワーク（RRPN）に置き換え、5つのパラメータ$(x_c, y_c, w, h, \theta)$を用いて予測する。
• RoIプーリングにおける四捨五入誤差による境界のずれを回避するため、双線形補間を用いた回転RoIアライグ（RRoI-Align）を採用する。
• 実用的なテキスト回転を自然にカバーするため、対称的な向き範囲$(-90^\circ, 90^\circ)$を採用し、人工的な角度クリッピングを回避する。
• RRoI-Alignにおけるオンデマンドパディングとボックス変換を導入し、画像境界を超過する回転ボックスを処理する。
• 回転ボックス演算のための効率的なCPUベースのCaffe2オペレータを実装し、int8量子化を適用することで推論速度を維持する。
• 混合非回転および回転データを用いたハイブリッドトレーニング戦略と、オンザフライでのデータオーグメンテーションを導入し、さまざまな向きにおける性能のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 回転境界ボックスを予測するように変更されたRPNは、任意の向きのテキストに対して検出精度を顕著に向上させることができるか？
• RQ2 対称的な$(-90^\circ, 90^\circ)$の向き範囲は、非対称的な$[-45^\circ, 135^\circ)$の範囲と比較して、モデルの安定性とカバレッジにどのような違いをもたらすか？
• RQ3 RRoI-AlignとRRoI-Poolingを比較した場合、回転テキストの特徴アライメントと検出精度にどのような影響があるか？
• RQ4 モデル量子化と最適化されたオペレータを用いることで、RRPNの性能向上を遅延の増加なしに達成できるか？
• RQ5 混合データセットを用いて学習する場合、回転テキストと非回転テキストの検出精度の間にはどのようなトレードオフが生じるか？

主な発見

• RRPNモデルは回転データセットにおいて顕著な検出精度の向上を示し、最良のモデルがベースラインと比較して大幅な向上を達成した。
• 5:1の回転増強データセットで学習したratio=5のRRPNモデルは、回転テキストにおいてベースラインを上回る性能を示したが、非回転テキストではわずかな性能低下を示した。
• RRPNモデルのint8量子化により、非回転ベースラインモデルと比較して推論遅延に顕著な増加が見られなかった。
• RRoI-Alignの導入により、RRoI-Poolingと比較して境界のずれの問題が軽減され、回転ボックスの特徴抽出が改善された。
• 対称的な$(-90^\circ, 90^\circ)$の向き範囲により、人工的な角度マッピングなしに自然で一貫性のある回転テキスト検出が可能になった。
• 本システムは1日10億枚以上の画像をリアルタイムで処理する能力を維持しており、スケーラビリティと導入可能性を確認した。