[論文レビュー] GlyphControl: Glyph Conditional Control for Visual Text Generation

Yukang Yang, Dongnan Gui+5 more|arXiv (Cornell University)|May 29, 2023

Video Analysis and Summarization被引用数 17

ひとこと要約

GlyphControl は Glyph 条件付きの ControlNet を Stable Diffusion に追加して読める視覚テキストをレンダリングし、新しい LAION-Glyph ベンチマークで検証され、OCR 精度、CLIP スコア、FID において DeepFloyd IF を上回り、パラメータ数が少なく済みます。

ABSTRACT

Recently, there has been an increasing interest in developing diffusion-based text-to-image generative models capable of generating coherent and well-formed visual text. In this paper, we propose a novel and efficient approach called GlyphControl to address this task. Unlike existing methods that rely on character-aware text encoders like ByT5 and require retraining of text-to-image models, our approach leverages additional glyph conditional information to enhance the performance of the off-the-shelf Stable-Diffusion model in generating accurate visual text. By incorporating glyph instructions, users can customize the content, location, and size of the generated text according to their specific requirements. To facilitate further research in visual text generation, we construct a training benchmark dataset called LAION-Glyph. We evaluate the effectiveness of our approach by measuring OCR-based metrics, CLIP score, and FID of the generated visual text. Our empirical evaluations demonstrate that GlyphControl outperforms the recent DeepFloyd IF approach in terms of OCR accuracy, CLIP score, and FID, highlighting the efficacy of our method.

研究の動機と目的

• 拡散ベースの T2I モデルにおける読める視覚テキストのレンダリングを改善する動機づけ。
• GlyphControl を提案し、レンダリングされたグリフ画像をテキストレンダリングの空間レイアウト priors として活用。
• LAION-Glyph ベンチマークを作成し、視覚テキスト生成の大規模なトレーニングと評価を可能にする。
• 強力なベースラインと比較して OCR 精度、CLIP 整合性、FID を改善を示す。
• 視覚テキストの内容、場所、サイズをカスタマイズできる柔軟なグリフ指示を提供。

提案手法

• 事前学習済みの Stable Diffusion をロックされたバックボーンとして使用し、レンダリングされたグリフ画像に guided される trainable な Glyph ControlNet ブランチを追加。
• OCR 検出テキストからホワイトボード風のグリフ画像としてグリフをレンダリングし、拡散デノイズ前の明示的なグリフレイアウト priors を供給。
• テキスト埋め込み（CLIP）とノイズ化された潜在表現およびグリフ条件付き特徴を融合して拡散ノイズ ε(z_t, t) を推定。
• 内容、改行ごとのレイアウト、テキストボックスの属性（幅、位置、回転）を制御するグリフ指示を提供。
• OCR由来のテキスト監督で LAION-Glyph データ上を訓練；OCR には PP-OCRv3、グリフレンダリングには Pillow を活用。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの画像生成において、グリフ条件付きの制御は視覚テキストの判読性とレイアウト精度を改善できるか。
• RQ2 GlyphControl は OCR 精度、CLIP 整合性、FID の点で現代の視覚テキスト生成モデルと比べてどうか。
• RQ3 明示的なグリフレイアウトをレンダリングすることで、生成画像内のテキスト内容、位置、サイズを柔軟に制御できるか。
• RQ4 データセットのスケール（LAION-Glyph-100K/1M/10M）がOCRおよび知覚メトリクスに与える影響は。
• RQ5 大きな量の小さなテキストや複雑なレイアウトをレンダリングする際の制約と失敗モードは何か。

主な発見

• GlyphControl は SimpleBench および CreativeBench で DeepFloyd IF より高い OCR 精度を達成（例：それぞれのベンチマークで +15% および +13%）。
• GlyphControl は LAION-Glyph ベンチマークで SDXL や Stable Diffusion などのベースラインより高い CLIP スコアと低い FID を達成。
• LAION-Glyph のより大きなスケールで訓練すると OCR 精度が向上（例：SimpleBench の特定設定で 37% から 48% へ）。
• この手法は LAION-Glyph で低い FID を示し、柔軟なグリフ指示が内容・場所・サイズに影響を与えながら読みやすいテキストをレンダリングできる。
• DeepFloyd IF と比較して GlyphControl はパラメータ数が少なく（約 1.3B）、それでも benchmarked task での OCR パフォーマンスを上回る。
• アブレーションによりフォントサイズとレイアウトが OCR および CLIP 指標に大きく影響し、テキストスタイリングと可読性のトレードオフを強調。