[論文レビュー] Visual Script and Language Identification

Anguelos Nicolaou, Andrew D. Bagdanov+2 more|arXiv (Cornell University)|Jan 8, 2016

Handwritten Text Recognition Techniques参考文献 6被引用数 4

ひとこと要約

本論文では、手作業で作成したSRS-LBPテクスチャ特徴量と全結合ニューラルネットワークを用いた、視覚的スクリプトおよび言語識別のためのディープラーニング手法を提案する。初期層の活性化を学習されたメトリクスとして活用することで、手書き文字の言語識別において最先端の性能を達成し、動画テキストのスクリプト認識においてもほぼ最先端の性能を示した。これは、特徴の一般化能とドメインシフトに対するロバスト性が優れているため、一部のケースでは深層CNNを上回った。

ABSTRACT

In this paper we introduce a script identification method based on hand-crafted texture features and an artificial neural network. The proposed pipeline achieves near state-of-the-art performance for script identification of video-text and state-of-the-art performance on visual language identification of handwritten text. More than using the deep network as a classifier, the use of its intermediary activations as a learned metric demonstrates remarkable results and allows the use of discriminative models on unknown classes. Comparative experiments in video-text and text in the wild datasets provide insights on the internals of the proposed deep network.

研究の動機と目的

• 動画テキスト、シーンテキスト、手書き文字を含む多様なテキストモダリティに対応できる堅牢な視覚的スクリプトおよび言語識別システムの開発を目的とする。
• OCRや言語モデルに依存せずに、同じスクリプトを使用する複数の言語を視覚的に識別する課題に対処すること。
• 深層ニューラルネットワークの活性化を分類のための学習されたメトリクスとして用いることの検討を行い、未知のクラスへの一般化を向上させること。
• 手作業で作成したテクスチャ特徴量と浅い深層ネットワークの組み合わせが、特定の視覚的テキスト認識シナリオにおいて深層CNNを上回ることを示すこと。

提案手法

• 前処理では、RGB画像を主成分チャネルに変換し、中央のバンドが平均より暗い場合に画像を反転することで、前景・背景のコントラストを標準化する。
• SRS-LBP（スパースラジアルサンプリング - 局所的バイナリパターン）特徴量は、半径3、サンプリングポイント8個を用いて抽出され、テキスト領域内の局所的テクスチャパターンを捉える。
• SRS-LBP特徴量上で、ドロップアウト正則化を用いて過学習を防ぐ全結合ディープニューラルネットワーク（Deep MLP）を訓練する。
• Deep MLPの最初の隠れ層の活性化を、k-NN分類のための学習されたメトリクスとして使用し、出力層の直接分類よりも優れた一般化性能を実現する。
• 初期層の特徴量上でk-NNを適用する手法は、複数のデータセットにおいて、最終層や後続層でのk-NN分類を常に上回った。
• 本手法は、CVSI（動画テキスト）およびSIW-10（手書き文字）という2つのベンチマークデータセットで評価され、特徴量およびアーキテクチャ選択の妥当性を検証するためのアブレーションおよび拡張実験が実施された。

実験結果

リサーチクエスチョン

• RQ1 手作業で作成したテクスチャ特徴量とディープニューラルネットワークの組み合わせが、視覚的スクリプトおよび言語識別で最先端の性能を達成できるか？
• RQ2 ディープネットワークの初期層の活性化を学習されたメトリクスとして用いることで、分類性能および一般化性能（特に未学習クラスに対して）が向上するか？
• RQ3 全結合ネットワークとCNNの間で、スクリプトおよび言語識別タスク（特に動画テキストおよびシーンテキストにおいて）の性能に差は生じるか？
• RQ4 SRS-LBP特徴量は、手書き文字と動画テキストの両方のテキストモダリティにどれほど一般化可能か？
• RQ5 OCRや言語モデルに依存せず、視覚的テクスチャパターンのみに依存して、視覚的言語識別を効果的に行えるか？

主な発見

• 提案手法は、SIW-10データセットにおいて視覚的言語識別で92.78%の精度を達成し、このタスクにおける最先端の性能を示した。
• CVSIデータセットでは、動画テキストのスクリプト識別においてほぼ最先端の性能を達成し、いくつかのCNNベースの手法を上回った。
• Deep MLPの最初の隠れ層の活性化上でk-NN分類を適用した手法は、最終層や後続層でのk-NN分類を常に上回り、初期層特徴量が学習されたメトリクスとしての価値を示した。
• SRS-LBP特徴量のみを用いても、単純なSVMを適用した場合でも高い性能（SIW-10で90.38%）を示し、特徴表現が極めて識別可能であることを示した。
• 複数回の訓練実行において一貫した収束行動と過学習の欠如が観察されたことから、ドロップアウト正則化が訓練を安定化させ、一般化性能を向上させたことが示された。
• 拡張されたSIW-10データセットを用いたアブレーション実験により、後続層よりも初期層のネットワーク層がより汎用的かつ転送可能な特徴量を生成することが確認され、本手法の核心仮説が裏付けられた。