[論文レビュー] Automatic text extraction and character segmentation using maximally stable extremal regions

Nitigya Sambyal, Pawanesh Abrol|arXiv (Cornell University)|Aug 11, 2016

Handwritten Text Recognition Techniques参考文献 5被引用数 4

ひとこと要約

本稿では、最大安定極値領域（MSER）を用いて候補となるテキスト領域を検出する訓練不要な手法を提案する。その後、しきい値処理と連結成分解析を実行し、個々の文字を分離する。このアプローチは、英語およびロシア語のテキストにおいて優れた性能を発揮し、低品質な画像でも効果的であるが、ウルドゥ語やヒンディー語のような複雑な script では、script 特有の課題のため、精度が低下する。

ABSTRACT

Text detection and segmentation is an important prerequisite for many content based image analysis tasks. The paper proposes a novel text extraction and character segmentation algorithm using Maximally Stable Extremal Regions as basic letter candidates. These regions are then subjected to thresholding and thereafter various connected components are determined to identify separate characters. The algorithm is tested along a set of various JPEG, PNG and BMP images over four different character sets; English, Russian, Hindi and Urdu. The algorithm gives good results for English and Russian character set; however character segmentation in Urdu and Hindi language is not much accurate. The algorithm is simple, efficient, involves no overhead as required in training and gives good results for even low quality images. The paper also proposes various challenges in text extraction and segmentation for multilingual inputs.

研究の動機と目的

• 自然シーン画像における自動テキスト抽出および文字分離のための、強力で訓練不要なアプローチの開発。
• 特に複雑な文字構造を持つ script に対しても、テキストの検出および分離を実現する課題への対処。
• 教師あり学習やモデルの微調整を必要とせず、低解像度およびノイズの多い画像でも性能を向上させる。
• 特にインディア系およびアラビア文字系 script における多言語テキスト分離の主な困難さの特定。
• 英語、ロシア語、ヒンディー語、ウルドゥ語を含む、多様な画像フォーマットおよび文字セットに対して、この手法の評価。

提案手法

• 入力画像において、最初に最大安定極値領域（MSER）を検出し、テキスト領域候補を抽出する。
• 各 MSER に対して、コントラストを強化し、テキストに類似した構造を分離するための適応的しきい値処理を実施する。
• しきい値処理済み領域に対して連結成分解析を適用し、個々の文字を特定および分離する。
• MSER の幾何学的および強度に基づく特性を活用して、非テキスト領域をフィルタリングし、文字境界を精緻化する。
• 再訓練を必要とせず、複数の画像フォーマット（JPEG、PNG、BMP）および文字セットに一貫して適用可能。
• 後処理として、サイズフィルタリングとアスペクト比の検証を実施し、誤検出を低減し、分離精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 MSER を用いたアプローチは、多様な画像品質およびフォーマットにおいて、テキスト検出および文字分離にどの程度効果的か？
• RQ2 この手法は、ヒンディー語やウルドゥ語のような複雑な文字形状を持つ script に対しても、どの程度一般化可能か？
• RQ3 訓練不要な手法が、教師あり手法と比較して、低品質な画像においても競争力のある性能を発揮できるか？
• RQ4 MSER を用いた検出によって、非ラテン script からの文字分離における主な課題は何か？
• RQ5 MSER と連結成分解析の組み合わせは、実世界のシーンにおける分離精度をどのように向上させるか？

主な発見

• 英語およびロシア語の文字セットにおいて、低品質な画像でもテキスト抽出および文字分離の精度が非常に高い。
• ヒンディー語およびウルドゥ語の script では、文字が重なっていることや複雑な結合形のため、分離精度が著しく低下する。
• アルゴリズムは計算効率が高く、トレーニングデータやモデルの微調整を一切不要としており、リソース制限のある環境に適している。
• MSER は、照明条件や解像度の変化に関係なく、安定したテキスト領域を効果的に捉えることができ、耐障害性を向上させる。
• しきい値処理と連結成分解析は、ノイズが多いまたはごみだらけのシーンでも、文字の分離を顕著に改善する。
• このアプローチは、性能の低下を伴わず、JPEG、PNG、BMP などの異なる画像フォーマットに強く一般化する。