[論文レビュー] GlyphBanana: Advancing Precise Text Rendering Through Agentic Workflows

Zexuan Yan, Jiarui Jin+6 more|arXiv (Cornell University)|Mar 12, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

GlyphBananaは、潜在空間とアテンション空間にグリフテンプレートを統合して拡散モデルを用いた画像生成において複雑なテキストと式を正確にレンダリングする訓練不要のエージェントワークフローを導入する。さらに、GlyphBanana-Benchという、単語から多行式までのレンダリングを評価する複数言語対応のベンチマークを提示する。

ABSTRACT

Despite recent advances in generative models driving significant progress in text rendering, accurately generating complex text and mathematical formulas remains a formidable challenge. This difficulty primarily stems from the limited instruction-following capabilities of current models when encountering out-of-distribution prompts. To address this, we introduce GlyphBanana, alongside a corresponding benchmark specifically designed for rendering complex characters and formulas. GlyphBanana employs an agentic workflow that integrates auxiliary tools to inject glyph templates into both the latent space and attention maps, facilitating the iterative refinement of generated images. Notably, our training-free approach can be seamlessly applied to various Text-to-Image (T2I) models, achieving superior precision compared to existing baselines. Extensive experiments demonstrate the effectiveness of our proposed workflow. Associated code is publicly available at https://github.com/yuriYanZeXuan/GlyphBanana.

研究の動機と目的

• 信頼性の高い希少文字と複雑な式のテキストからの画像生成におけるレンダリングの必要性を動機づける。
• システムフォントのグリフを拡散モデルと組み合わせて正確なレンダリングを実現する訓練不要のエージェント的パイプラインを提案する。
• manual design interventionなしで任意のスタイルへ自律的適応を可能にする。
• 単語から複雑な多行式までのテキストレンダリングを評価する GlyphBanana-Bench を導入する。

提案手法

• 四段階のエージェントワークフロー: Extraction, Draft Preview, Glyph Injection, and Style Refinement.
• Glyph Injectionは潜在空間の周波数分解とアテンション再重み付けを組み合わせてDiTブロックへグリフテンプレートを注入する。
• Frequency Decompositionはマスクを介して低周波数成分と高周波数成分をブレンドし高周波グリフのディテールを注入する。
• Attention Re-weightingはDiT自己注意にバイアス行列を導入して特定のトークンをグリフテンプレートへ誘導する。
• Iterative RefinementはStyle RefinerとScore Judgerを用いた拡散ベースの画像-画像モデルで品質と調和を改善する。

実験結果

リサーチクエスチョン

• RQ1 訓練不要のエージェントワークフローは拡散モデルにおける複雑なテキストと式のレンダリングのOCR精度と視覚的忠実度を向上させるか。
• RQ2 潜在空間の周波数分解とアテンション再重み付けは言語とスタイルを跨いだ正確なグリフレンダリングにどのように寄与するか。
• RQ3 GlyphBananaパイプラインはファインチューニングなしに異なるDiTバックボーンへ一般化できるか。
• RQ4 新しい GlyphBanana-Benchmark がT2IシステムにおけるOOVテキストと複雑な式の評価へ与える影響は何か。

主な発見

• GlyphBananaはGlyphBanana-BenchmarkにおけるレンダリングテキストでBaselinesよりOCRとVLMベースの指標が高い。
• アブレーション研究はFrequency Decomposition、Injection、Iterative Refinementのそれぞれがテキスト精度と視覚的調和の改善に寄与することを示す。
• 本手法は複数の拡散バックボーンと訓練不要の統合を提供し、レンダリング精度とスタイル忠実度においてベースラインを上回る。
• GlyphBananaはZ-ImageおよびQwen-Imageバックボーン上でOCRスコアを報告された指標に従い substantial margins で改善する。
• Iterative refinementは実験を通じて視覚品質を一貫して向上させつつテキスト精度を維持する。