[論文レビュー] Learning Markov Clustering Networks for Scene Text Detection

Zichuan Liu, Guosheng Lin+4 more|arXiv (Cornell University)|May 22, 2018

Handwritten Text Recognition Techniques参考文献 19被引用数 28

ひとこと要約

本稿では、画像を確率的フローグラフ（SFG）としてモデル化し、非最大抑制（NMS）を用いずに局所領域をインスタンスレベルのバウンディングボックスにグループ化する、下位互換のシーンテキスト検出フレームワーク、マーカフクラスタリングネットワーク（MCN）を提案する。MCNはMSRA-TD500でFスコア0.83の最先端性能を達成し、34FPSのリアルタイム推論を実現し、複数方向およびスケール変動するテキストオブジェクトの検出において、先行手法を上回る性能を発揮する。

ABSTRACT

A novel framework named Markov Clustering Network (MCN) is proposed for fast and robust scene text detection. MCN predicts instance-level bounding boxes by firstly converting an image into a Stochastic Flow Graph (SFG) and then performing Markov Clustering on this graph. Our method can detect text objects with arbitrary size and orientation without prior knowledge of object size. The stochastic flow graph encode objects' local correlation and semantic information. An object is modeled as strongly connected nodes, which allows flexible bottom-up detection for scale-varying and rotated objects. MCN generates bounding boxes without using Non-Maximum Suppression, and it can be fully parallelized on GPUs. The evaluation on public benchmarks shows that our method outperforms the existing methods by a large margin in detecting multioriented text objects. MCN achieves new state-of-art performance on challenging MSRA-TD500 dataset with precision of 0.88, recall of 0.79 and F-score of 0.83. Also, MCN achieves realtime inference with frame rate of 34 FPS, which is $1.5 imes$ speedup when compared with the fastest scene text detection algorithm.

研究の動機と目的

• アンカー・ボックスに依存するため、任意のテキストサイズや方向に対応できないトップダウン型オブジェクト検出の限界を解消すること。
• 局所予測のエンドツーエンドで並列化可能なクラスタリングを可能にすることで、非最大抑制（NMS）の必要性を排除すること。
• スケール変動や回転したテキストの検出に耐性を持つ、柔軟でデータ駆動型のフレームワークを構築し、局所的な相関関係と意味的文脈を捉えること。
• MSRA-TD500のような困難なベンチマークで高い精度を維持しながら、リアルタイムの推論速度を達成すること。

提案手法

• 等間隔で重複する画像領域をノードとし、ノード間のフロー重みを局所的相関性と意味的類似度で表す確率的フローグラフ（SFG）を構築する。
• SFGにマーカフクラスタリング（MC）を適用し、強く接続されたコンponentsを特定することで、完全なテキストインスタンスに対応させる。
• MCを微分可能なニューラルネットワークレイヤーとして実装し、フレームワーク全体のエンドツーエンド学習を可能にする。
• クラスタリングされたノードから後処理によりバウンディングボックスを生成し、NMSを回避するとともにGPUの完全並列化を実現する。
• フローコストスコアを出力する完全畳み込みバックボーンを用い、SFG上の反復的確率伝搬によりクラスタリングを実行する。
• クラスタの凝集性と分離性を最適化する損失関数を用いて、エンドツーエンドで学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 下位互換でグラフベースのクラスタリングアプローチは、アンカーに基づくトップダウン手法を上回り、任意の方向やスケール変動するテキストを検出できるか？
• RQ2 マーカフクラスタリングを微分可能かつエンドツーエンドで学習可能な形にできるか？
• RQ3 クラスタリング処理をGPU上で完全に並列化し、NMSなしでリアルタイム推論を達成できるか？
• RQ4 提案手法は、多方向および長大なテキストインスタンスを含むベンチマークで最先端の性能を達成できるか？

主な発見

• MCNは、挑戦的なMSRA-TD500データセットでFスコア0.83という新記録を達成し、精度0.88、再現率0.79を記録した。
• ICDAR 2013ではFスコア0.88を達成し、NMSなしであるにもかかわらず、先行手法と同等またはそれを上回る性能を示した。
• 512×512の入力で34FPSの推論速度を達成し、最も高速な既存手法比1.5倍の高速化を実現した。
• 長大で回転したテキストに対して優れた耐性を示し、MSRA-TD500ではICDAR 2013よりも顕著な性能向上を示した。これは、柔軟な幾何的処理によるものである。
• マーカフクラスタリングは高速に収束し、最適性能を得るにはたった5イテレーション（N=5）で十分であり、クラスタリング計算はわずか0.86msで完了した。
• ノード密度を低く（16×16）しても高い精度を維持しており、小さなテキストオブジェクトにおける弱い局所的フローに対しても耐性があることが示された。