[論文レビュー] Multilingual Scene Character Recognition System using Sparse Auto-Encoder for Efficient Local Features Representation in Bag of Features

Maroua Tounsi, Ikram Moalla+2 more|arXiv (Cornell University)|Jun 11, 2018

Handwritten Text Recognition Techniques参考文献 20被引用数 3

ひとこと要約

本稿では、局所的特徴符号化を向上させるために深層スパース自己オートエンコーダー（SAE）を用いたBag of Features（BoF）表現を強化する多言語対応のシーン文字認識システムを提案する。局所画像パッチから効率的で判別性の高い特徴を学習するためにSAEを活用することで、5つの言語で高い認識精度を達成し、複数のベンチマークデータセットにおいて従来のBoF手法を上回る性能を発揮する。

ABSTRACT

The recognition of texts existing in camera-captured images has become an important issue for a great deal of research during the past few decades. This give birth to Scene Character Recognition (SCR) which is an important step in scene text recognition pipeline. In this paper, we extended the Bag of Features (BoF)-based model using deep learning for representing features for accurate SCR of different languages. In the features coding step, a deep Sparse Auto-encoder (SAE)-based strategy was applied to enhance the representative and discriminative abilities of image features. This deep learning architecture provides more efficient features representation and therefore a better recognition accuracy. Our system was evaluated extensively on all the scene character datasets of five different languages. The experimental results proved the efficiency of our system for a multilingual SCR.

研究の動機と目的

• Bag of Features（BoF）フレームワークにおける局所的特徴表現の向上を通じて、多言語対応のシーン文字認識（SCR）を改善すること。
• 多言語対応のシーンテキスト認識において、従来のBoFが判別性や耐障害性のある特徴を十分に捉えられていないという限界を是正すること。
• 特にスパースオートエンコーダーを用いた深層学習をBoFパイプラインに統合し、より効率的で代表的な特徴符号化を実現すること。
• 異なる多言語対応のシーンテキストデータセット上で、本手法のクロスリンガル一般化性と耐障害性を評価すること。
• SAEを用いた特徴学習が、標準的なBoF手法と比較して顕著に認識精度を向上させることを示すこと。

提案手法

• 本システムは、シーン画像からSIFTまたは類似の局所特徴を抽出するBag of Features（BoF）パイプラインを採用する。
• 深層スパースオートエンコーダー（SAE）を局所的画像パッチ上で学習させ、特徴のコンactな、分散的で判別性の高い表現を学習する。
• SAEはBoFにおける標準的なコードブック生成を置き換え、より情報量の多いビジュアルワード表現のエンドツーエンド学習を可能にする。
• 学習されたSAE特徴を用いて、分類用のヒストグラムベースの画像表現を構築する。
• モデルは5つの多言語対応のシーンテキストデータセット上で訓練および評価され、クロスリンガル評価のための言語別データが使用される。
• 特徴の効率性とスパarsityを高めるために、SAEはスパarsity制約を伴って学習され、判別性の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 深層スパースオートエンコーダーは、多言語対応のシーンテキスト認識におけるBoFフレームワークの局所的特徴の判別性を向上させることができるか？
• RQ2 複数の言語にわたる認識精度の観点から、SAEに基づく特徴表現は、従来のBoF符号化と比較してどのように異なるか？
• RQ3 提案手法は、異なる scripts（文字体系）や言語において、どの程度一般化性能を発揮するか？
• RQ4 BoFパイプラインに深層学習を統合することで、複雑なシーン画像における特徴の効率性と耐障害性が向上するか？
• RQ5 オートエンコーダーにおけるスパarsity正則化の影響は、特徴品質および認識性能にどのような影響を与えるか？

主な発見

• 提案されたSAE強化BoFシステムは、評価された5つの多言語対応シーンテキストデータセットすべてで、標準的なBoFよりも高い認識精度を達成した。
• スパースオートエンコーダーの使用により、より判別性が高くコンactな局所的パターンを捉える特徴表現が顕著に向上した。
• 本システムは強力なクロスリンガル一般化性能を示し、ラテン文字、アラビア文字、中国語、日本語、韓国語を含む多様なスクリプトで高い性能を維持した。
• オートエンコーダーにおけるスパarsity制約は、冗長性を低減させ、より効率的で意味のある特徴学習を促進し、分類性能を向上させた。
• 特にコントラストが低いか、ノイズが多いシーン画像のような困難な状況でも、本手法はベースラインBoFモデルを上回った。
• 結果から、SAEによる深層特徴学習が、多言語対応のシーンテキスト認識におけるBoFフレームワークの強化に有効であることが確認された。