[論文レビュー] NF-SAVO: Neuro-Fuzzy system for Arabic Video OCR

Mohamed Ben Halima, Hichem Karray+2 more|arXiv (Cornell University)|Jan 1, 2012

Handwritten Text Recognition Techniques参考文献 12被引用数 11

ひとこと要約

本稿では、可変なテキスト外観、動き、背景の複雑さといった課題に対処する、ロバストなアラビア語動画OCR向けの神経ファジィシステムNF-SAVOを提案する。特徴抽出のためのニューラルネットワークと、不確実性を扱うためのファジィ論理を組み合わせることで、特にアラビア語動画におけるシーンテキストおよびアートリアルテキストの両方のテキスト検出および認識性能が向上する。

ABSTRACT

In this paper we propose a robust approach for text extraction and recognition from video clips which is called Neuro-Fuzzy system for Arabic Video OCR. In Arabic video text recognition, a number of noise components provide the text relatively more complicated to separate from the background. Further, the characters can be moving or presented in a diversity of colors, sizes and fonts that are not uniform. Added to this, is the fact that the background is usually moving making text extraction a more intricate process. Video include two kinds of text, scene text and artificial text. Scene text is usually text that becomes part of the scene itself as it is recorded at the time of filming the scene. But artificial text is produced separately and away from the scene and is laid over it at a later stage or during the post processing time. The emergence of artificial text is consequently vigilantly directed. This type of text carries with it important information that helps in video referencing, indexing and retrieval.

研究の動機と目的

• 可変なテキスト外観、動き、複雑な背景のためのアラビア語動画OCRの課題に対処すること。
• 動画コンテンツ内でのシーンテキスト（自然に存在するもの）とアートリアルテキスト（後処理で追加されたもの）を区別すること。
• ノイズや変動が存在するにもかかわらず、実世界の動画シーケンスから高精度にテキストを抽出・認識できるロバストなシステムを開発すること。
• 不確実性を扱い、非一様な条件下での認識性能を向上させるために、神経ファジィ技術を統合すること。

提案手法

• 本システムは、特徴抽出のためのニューラルネットワークと、不確実性下での意思決定のためのファジィ推論を組み合わせた神経ファジィアーキテクチャを採用する。
• 前処理技術を適用して、動画フレーム内のテキスト領域を強化し、背景ノイズを低減する。
• ファジィ論理を用いて、文字の形状、サイズ、色の不確実性をモデル化し、変動に対する耐性を向上させる。
• 文脈的および空間的ヒントに基づいて、テキストをシーンテキストまたはアートリアルテキストに分類する。
• ニューラルネットワークはアラビア文字の認識に訓練され、ファジィルールが分類意思決定を最適化する。
• フレーム単位で動画シーケンスを処理し、動きや背景の変化に対処しながらテキストを検出し、認識する。

実験結果

リサーチクエスチョン

• RQ1 神経ファジィシステムは、動きやノイズを伴う複雑な動画背景から、どのようにしてアラビア語テキストを効果的に抽出できるか？
• RQ2 アラビア語動画OCRにおいて、シーンテキストとアートリアルテキストの認識性能にどのような差が生じるか？
• RQ3 ファジィ論理は、可変なフォント、サイズ、色の条件下で、どの程度認識精度を向上させられるか？
• RQ4 ニューラルネットワークとファジィ推論の統合は、動画テキスト検出における耐性をどのように向上させるか？

主な発見

• 提案されたNF-SAVOシステムは、テキスト外観や背景のダイナミクスに著しい変動が生じるアラビア語動画シーケンスにおいて、テキスト検出および認識性能が向上した。
• 神経ファジィアプローチは、文字の形状や色の不確実性を効果的に処理し、複雑なシーンにおける誤分類を低減した。
• 構造的で情報量の多いアートリアルテキストは、高い信頼性で区別され、抽出に成功した。
• 本システムは、動きや背景の変化に対してもロバストであることが示され、動的で変動の激しい動画環境において、従来のOCR手法を上回る性能を発揮した。