[論文レビュー] Separating Content from Style Using Adversarial Learning for Recognizing Text in the Wild

Canjie Luo, Qingxiang Lin+3 more|arXiv (Cornell University)|Jan 13, 2020

Handwritten Text Recognition Techniques参考文献 57被引用数 4

ひとこと要約

本論文は、シーン画像の複雑な背景からテキストコンテンツを分離することで、文字認識の正確性を向上させる、新しい敵対的学習フレームワークを提案する。アテンションベースの認識器と、文字単位の敵対的訓練およびフィードバック機構を備えた生成的敵対的ネットワークを活用することで、ピクセル単位のアノテーションやペアデータを一切必要とせず、未対応の画像とテキストラベルのみを用いても、最先端の性能を達成し、認識の難易度を顕著に低減する。

ABSTRACT

We propose to improve text recognition from a new perspective by separating the text content from complex backgrounds. As vanilla GANs are not sufficiently robust to generate sequence-like characters in natural images, we propose an adversarial learning framework for the generation and recognition of multiple characters in an image. The proposed framework consists of an attention-based recognizer and a generative adversarial architecture. Furthermore, to tackle the issue of lacking paired training samples, we design an interactive joint training scheme, which shares attention masks from the recognizer to the discriminator, and enables the discriminator to extract the features of each character for further adversarial training. Benefiting from the character-level adversarial training, our framework requires only unpaired simple data for style supervision. Each target style sample containing only one randomly chosen character can be simply synthesized online during the training. This is significant as the training does not require costly paired samples or character-level annotations. Thus, only the input images and corresponding text labels are needed. In addition to the style normalization of the backgrounds, we refine character patterns to ease the recognition task. A feedback mechanism is proposed to bridge the gap between the discriminator and the recognizer. Therefore, the discriminator can guide the generator according to the confusion of the recognizer, so that the generated patterns are clearer for recognition. Experiments on various benchmarks, including both regular and irregular text, demonstrate that our method significantly reduces the difficulty of recognition. Our framework can be integrated into recent recognition methods to achieve new state-of-the-art recognition accuracy.

研究の動機と目的

• 複雑な背景、任意の形状、フォントの変化によって引き起こされるシーン文字認識の難易度を低減すること。
• テキスト画像生成における画像対画像変換のためのペアデータの不足に取り組むこと。
• 背景のスタイルを正規化しつつ、文字レベルでテキストコンテンツを保持することで、認識精度を向上させること。
• ピクセル単位のアノテーションを回避し、入力画像と対応するテキストラベルのみを用いてエンドツーエンドの学習を可能にすること。
• 識別器と認識器の間のフィードバック機構を構築し、認識の混乱を活用することで生成品質を向上させること。

提案手法

• フレームワークは、アテンションベースの認識器を用いて文字単位の特徴を抽出し、敵対的学習をガイドする。
• 生成的敵対的ネットワーク（GAN）は、未対応の実画像とテキストラベルのみを用いて、複雑な背景を除去しながらテキストコンテンツを保持するように訓練される。
• 認識器から得られるアテンションマスクを識別器に共有するインタラクティブな共同訓練方式を採用し、文字単位の監視を実現する。
• 識別器は認識器の混乱に基づいてガイドされ、生成画像がより明確で識別可能な文字パターンを生成するように改善される。
• トレーニング中にオンラインでターゲットスタイルのサンプルを合成するため、大規模なペアデータの必要性がなくなる。具体的には、単一の文字をランダムに選択することで実現する。
• 識別器と認識器の間のフィードバック機構により、認識エラーに強く耐性を持つ画像を生成器が生成可能になる。

実験結果

リサーチクエスチョン

• RQ1 ペアデータを必要としない状況で、敵対的学習を効果的にシーン画像の複雑な背景からテキストコンテンツを分離するために適応可能か？
• RQ2 グローバルで粗いGANと比較して、文字単位の敵対的監視は、生成画像の忠実性をどのように向上させるか？
• RQ3 識別器と認識器の間のフィードバック機構は、生成されたテキストパターンの明瞭さと識別可能性を向上させられるか？
• RQ4 背景スタイルの正規化は、実世界のベンチマークで認識精度をどの程度向上させるか？
• RQ5 提案手法は、既存の認識フレームワークに統合可能であり、最小限の変更で最先端の性能を達成できるか？

主な発見

• 提案手法は、SVT-Pデータセットにおいて6.0%の相対的改善を達成し、複数のベンチマークで新たな最先端性能を達成した。
• 合成データのみで訓練された場合でも、実データで訓練されたベースラインを上回る性能を示し、背景スタイル正規化の有効性を裏付けた。
• 実データ（50,000サンプル）と合成データの統合により性能がさらに向上し、ドメインギャップを低減し、一般化性能が優れていることを示した。
• オンラインで合成されたターゲットスタイルサンプル（単一文字）を用いることで、大規模なペアデータセットを必要とせず効果的な学習が可能となった。
• 識別器と認識器の間のフィードバック機構により、より明確な文字パターンが得られ、認識の混乱が軽減され、耐性が向上した。
• 実験の結果、RGB空間での生成がグレースケールを上回ることはなく、主な課題は色表現ではなく、微細な監視にあることが示された。