[論文レビュー] Conditional Text Image Generation with Diffusion Models

Yuanzhi Zhu, Zhaohai Li+3 more|arXiv (Cornell University)|Jun 19, 2023

Handwritten Text Recognition TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、画像、テキスト、スタイルの条件を用いて高精細で多様なテキスト画像を生成する、拡散モデルに基づく条件付きテキスト画像生成手法CTIG-DMを提案する。本手法は4つの異なる生成モードを可能にすることで、文字認識精度、OOV語の生成、ドメイン適応の面で最先端の性能を達成する。

ABSTRACT

Current text recognition systems, including those for handwritten scripts and scene text, have relied heavily on image synthesis and augmentation, since it is difficult to realize real-world complexity and diversity through collecting and annotating enough real text images. In this paper, we explore the problem of text image generation, by taking advantage of the powerful abilities of Diffusion Models in generating photo-realistic and diverse image samples with given conditions, and propose a method called Conditional Text Image Generation with Diffusion Models (CTIG-DM for short). To conform to the characteristics of text images, we devise three conditions: image condition, text condition, and style condition, which can be used to control the attributes, contents, and styles of the samples in the image generation process. Specifically, four text image generation modes, namely: (1) synthesis mode, (2) augmentation mode, (3) recovery mode, and (4) imitation mode, can be derived by combining and configuring these three conditions. Extensive experiments on both handwritten and scene text demonstrate that the proposed CTIG-DM is able to produce image samples that simulate real-world complexity and diversity, and thus can boost the performance of existing text recognizers. Besides, CTIG-DM shows its appealing potential in domain adaptation and generating images containing Out-Of-Vocabulary (OOV) words.

研究の動機と目的

• ロバストな文字認識モデルの学習に必要な現実世界のテキスト画像データが限られているという課題に対処すること。
• コンテンツの妥当性、画像の忠実性、多様性を保証する条件付きテキスト画像生成フレームワークを開発すること。
• 拡散モデルが、OOVやレアな文字を含む複雑なテキスト画像を生成する可能性を検討すること。
• 合成データを用いたデータ拡張とドメイン適応により、文字認識性能を向上させること。

提案手法

• テキスト条件、スタイル条件、画像条件の3つの主要な条件を備えた条件付き拡散モデルを導入。これらはコンテンツ、属性、筆跡スタイルを制御する。
• 入力テキスト、スタイル埋め込み、および任意の画像事前情報から3つの条件を生成するための条件付きエンコーダを採用。
• 3つの入力を条件として、ランダムノイズから写真のようにリアルなテキスト画像を生成するためのノイズ除去拡散プロセスを実装。
• 3つの条件を組み合わせたり設定を変更することで、合成、拡張、回復、模倣の4つの生成モードをサポート。
• 拡散プロセスにおけるテキストと画像条件間のクロスモodal整合性を確保するため、CLIPベースの事前学習を活用。
• 複雑なスクリプトの生成、たとえばOOV中国文字や古代文字に対して、ルートシーケンス分解を適用。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、文字認識のデータ拡張を目的とした高精細で多様かつコンテンツ妥当なテキスト画像を効果的に生成できるか？
• RQ2 提案された3つの条件（テキスト、スタイル、画像）が、テキスト画像生成における画像品質と意味的整合性をどのように制御するか？
• RQ3 CTIG-DMは、リソースが限られた環境やドメイン外の設定において、合成データを用いて文字認識性能をどの程度向上できるか？
• RQ4 CTIG-DMは、存在しない中国の部首や古代スクリプトのようなOOVまたは希少な文字のリアルな画像を生成できるか？
• RQ5 CTIG-DMは、従来のGANベースや自己回帰的手法と比較して、多様で妥当なテキスト画像をどの程度効果的に生成できるか？

主な発見

• IAMデータセットにおけるOOV画像生成において、CTIG-DMはFIDが25.52を達成し、CG-GAN（104.81）やSLOGAN（97.81）といった先行手法を顕著に上回った。
• CVLデータセットでは、ベースラインと比較してWERが16.40%、CERが7.60%低減し、強力なドメイン適応能力を示した。
• 人間による評価により、手書きおよびシーンテキストの両設定において、CTIG-DMが生成した画像は実際の画像とほとんど区別がつかないことが確認された。
• ルートシーケンスとスタイル事前情報を組み合わせることで、存在しない中国文字や古代レア文字を効果的に生成できた。
• 合成、拡張、回復、模倣の4つの生成モードにより、多様な文字認識シナリオに柔軟に適用可能であることが示された。
• 未学習の筆者や希少な文字分布に対しても、強力な汎化性能とスケーラビリティを示しており、堅牢性と拡張性が確認された。