[논문 리뷰] GlyphControl: Glyph Conditional Control for Visual Text Generation

Yukang Yang, Dongnan Gui외 5명|arXiv (Cornell University)|2023. 05. 29.

Video Analysis and Summarization인용 수 17

한 줄 요약

GlyphControl은 Stable Diffusion에 glyph-조건화된 ControlNet을 추가하여 읽기 쉬운 시각 텍스트를 렌더링하고, 새로운 LAION-Glyph 벤치마크에서 검증되며, OCR 정확도, CLIP 점수, FID에서 파라미터 수가 적은 상태로 DeepFloyd IF보다 우수한 성능을 보입니다.

ABSTRACT

Recently, there has been an increasing interest in developing diffusion-based text-to-image generative models capable of generating coherent and well-formed visual text. In this paper, we propose a novel and efficient approach called GlyphControl to address this task. Unlike existing methods that rely on character-aware text encoders like ByT5 and require retraining of text-to-image models, our approach leverages additional glyph conditional information to enhance the performance of the off-the-shelf Stable-Diffusion model in generating accurate visual text. By incorporating glyph instructions, users can customize the content, location, and size of the generated text according to their specific requirements. To facilitate further research in visual text generation, we construct a training benchmark dataset called LAION-Glyph. We evaluate the effectiveness of our approach by measuring OCR-based metrics, CLIP score, and FID of the generated visual text. Our empirical evaluations demonstrate that GlyphControl outperforms the recent DeepFloyd IF approach in terms of OCR accuracy, CLIP score, and FID, highlighting the efficacy of our method.

연구 동기 및 목표

• 확산 기반 T2I 모델에서 읽기 쉬운 시각 텍스트의 렌더링 개선 동기를 제시합니다.
• 렌더링된 글꼴 이미지를 텍스트 렌더링의 공간 레이아웃 사전으로 활용하기 위해 GlyphControl을 제안합니다.
• 시각 텍스트 생성을 위한 대규모 학습 및 평가를 가능하게 하는 LAION-Glyph 벤치마크를 만듭니다.
• 강력한 baselines에 비해 OCR 정확도, CLIP 정렬, FID를 개선을 보여줍니다.
• 시각 텍스트의 내용, 위치, 크기를 사용자 정의할 수 있는 유연한 글꼴 지침을 제공합니다.

제안 방법

• 고정된 백본으로 사전 학습된 Stable Diffusion을 사용하고 렌더링된 글꼴 이미기에 의해 안내되는 학습 가능한 Glyph ControlNet 가지를 추가합니다.
• OCR에서 감지된 텍스트로 화이트보드 스타일의 글꼴 이미지를 렌더링하여 확산 디노이징 전의 명시적 글꼴 레이아웃 사전을 제공합니다.
• 텍스트 임베딩(CLIP)과 노이즈화된 잠재 벡터 및 글꼴 조건화 특성을 융합하여 확산 노이즈 ε(z_t, t)를 추정합니다.
• 텍스트 내용, 줄 간 레이아웃, 텍스트 상자 속성(너비, 위치, 회전)을 제어하는 글꼴 지시를 제공합니다.
• OCR 유도 텍스트 감독으로 LAION-Glyph 데이터에서 학습하고, OCR용 PP-OCRv3 및 글꼴 렌더링을 위해 Pillow를 활용합니다.

실험 결과

연구 질문

• RQ1 glyph-조건화 제어가 확산 기반 이미지 생성에서 시각 텍스트의 가독성과 레이아웃 정확성을 향상시킬 수 있는가?
• RQ2 GlyphControl이 OCR 정확도, CLIP 정합성, FID 측면에서 동시대의 시각 텍스트 생성 모델과 비교하면 어떤가?
• RQ3 명시적 글꼴 레이아웃을 렌더링하면 생성 이미지 내의 텍스트 내용, 위치, 크기를 유연하게 제어할 수 있는가?
• RQ4 데이터셋 규모(LAION-Glyph-100K/1M/10M)가 OCR 및 지각 메트릭에 미치는 영향은 무엇인가?
• RQ5 큰 양의 작은 텍스트나 복잡한 레이아웃을 렌더링할 때의 한계점과 실패 모드는 무엇인가?

주요 결과

• GlyphControl은 SimpleBench 및 CreativeBench에서 DeepFloyd IF보다 높은 OCR 정확도를 달성합니다(예: 각각의 벤치에서 +15% 및 +13%).
• GlyphControl은 LAION-Glyph 벤치마크에서 SDXL 및 Stable Diffusion과 같은 baselines에 비해 더 높은 CLIP 점수와 낮은 FID를 달성합니다.
• 더 큰 LAION-Glyph에서의 학습은 OCR 정확도를 향상시키며(예: 특정 설정에서 SimpleBench에서 37%에서 48%로), 확장합니다.
• 이 방법은 LAION-Glyph에서 더 낮은 FID를 생성하고 내용, 위치, 크기에 영향을 주는 유연한 글꼴 지시로 읽기 쉬운 텍스트를 렌더링합니다.
• DeepFloyd IF와 비교할 때 GlyphControl은 파라미터 수가 더 적은(약 1.3B) 편이며 벤치마크된 작업에서 OCR 성능을 능가합니다.
• 절단 연구는 글꼴 크기와 레이아웃이 OCR 및 CLIP 메트릭에 상당한 영향을 미치며 텍스트 스타일링과 가독성 간의 상충을 강조합니다.