[論文レビュー] RewriteNet: Realistic Scene Text Image Generation via Editing Text in Real-world Image

Junyeop Lee, Yoonsik Kim+5 more|arXiv (Cornell University)|Jul 23, 2021

Handwritten Text Recognition Techniques参考文献 47被引用数 6

ひとこと要約

RewriteNet は、コンテンツ符号化にテキスト認識器、スタイル特徴を元の画像から取得することで、現実世界の画像におけるコンテンツとスタイルの特徴を分離する新しいシーンテキスト編集モデルである。自己教師あり学習スキームを用いて現実世界の画像を活用することで、合成データと現実世界のデータのドメインギャップを埋め、高精度なテキスト置き換えを実現する。最先端の性能を達成している。

ABSTRACT

Scene text editing (STE), which converts a text in a scene image into the desired text while preserving an original style, is a challenging task due to a complex intervention between text and style. To address this challenge, we propose a novel representational learning-based STE model, referred to as RewriteNet that employs textual information as well as visual information. We assume that the scene text image can be decomposed into content and style features where the former represents the text information and style represents scene text characteristics such as font, alignment, and background. Under this assumption, we propose a method to separately encode content and style features of the input image by introducing the scene text recognizer that is trained by text information. Then, a text-edited image is generated by combining the style feature from the original image and the content feature from the target text. Unlike previous works that are only able to use synthetic images in the training phase, we also exploit real-world images by proposing a self-supervised training scheme, which bridges the domain gap between synthetic and real data. Our experiments demonstrate that RewriteNet achieves better quantitative and qualitative performance than other comparisons. Moreover, we validate that the use of text information and the self-supervised training scheme improves text switching performance. The implementation and dataset will be publicly available.

研究の動機と目的

• 現実世界の画像においてテキストとスタイルが密接に関連しているため、リアルなシーンテキスト編集（STE）の課題に対処すること。
• 従来の手法が制限を受ける合成学習データと現実世界のテスト画像の間のドメインギャップを克服すること。
• テキストコンテンツを正確に置き換える一方で、元の画像のスタイル（フォント、配置、背景など）を保持する手法を開発すること。
• ペaired 実世界対実世界のアノテーションを必要とせず、合成データへの依存を減らすために、実世界の画像での学習を可能にすること。

提案手法

• 分離表現学習フレームワークを用いて、シーンテキスト画像をコンテンツ特徴（テキスト内容）とスタイル特徴（フォント、配置、背景）に分解する。
• 入力画像からコンテンツ特徴を抽出できるように、シーンテキスト認識器を訓練する。これにより、正確なテキスト表現学習が可能になる。
• 畳み込みエンコーダーを用いて元の画像からスタイル特徴を符号化し、視覚的特徴を保持する。
• 編集済み画像を、元のスタイル特徴とターゲットテキストのコンテンツ特徴を組み合わせることで生成する。
• 再構成と対照学習の目的関数を用いて、実世界の画像を活用する自己教師あり学習スキームを実装する。
• 自己教師ありスキームを用いて両ドメイン（合成データと現実データ）を同時に学習することで、合成データと現実データのドメインギャップを埋める。

実験結果

リサーチクエスチョン

• RQ1 分離表現学習アプローチは、シーンテキスト画像におけるテキスト内容と視覚的スタイルの分離を効果的に実現できるか？
• RQ2 シーンテキスト認識器からのテキスト情報の統合は、テキスト編集の忠実性と正確性をどのように向上させるか？
• RQ3 実世界の画像を自己教師ありで学習することで、ドメインギャップがどの程度縮小され、現実のテストデータでの性能が向上するか？
• RQ4 提案手法は、実世界のシーンテキスト編集において、定量的指標と定性的なリアリズムの両面で既存のベースラインを上回るか？

主な発見

• RewriteNet は、既存の手法と比較して、シーンテキスト編集ベンチマークで優れた定量的性能を達成している。
• テキスト認識をコンテンツ符号化に統合することで、テキスト置き換えの正確性が著しく向上している。
• 自己教師あり学習スキームにより、実世界の画像の有効活用が可能になり、合成データへの依存が軽減され、一般化性能が向上している。
• モデルは強力な定性的な結果を示しており、フォント、配置、背景の一貫性を保ったリアルな編集を生成している。
• アブレーションスタディの結果、テキスト情報の利用と自己教師あり学習スキームの両方が、テキスト切り替え性能の向上に寄与していることが確認された。
• 実装とデータセットは公開され、再現性とさらなる研究を支援する。