[論文レビュー] FASTER: A Font-Agnostic Scene Text Editing and Rendering Framework

Alloy Das, Biswas, Sanket+6 more|arXiv (Cornell University)|Aug 5, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

この論文は、GANベースのアーキテクチャを用いて、同時にマスク生成とスタイル変換を実行するフォントに依存しないシーンテキスト編集フレームワーク、FASTを提案する。背景の干渉をフィルタリングし、アダプティブなアテンション機構を採用することで、多様なフォントスタイル、サイズ、および語長に対して優れたリアルリズムと一般化性能を達成し、ベンチマークデータセットにおける定性的および定量的評価で先行手法を上回っている。

ABSTRACT

Scene Text Editing (STE) is a challenging research problem, that primarily aims towards modifying existing texts in an image while preserving the background and the font style of the original text. Despite its utility in numerous real-world applications, existing style-transfer-based approaches have shown sub-par editing performance due to (1) complex image backgrounds, (2) diverse font attributes, and (3) varying word lengths within the text. To address such limitations, in this paper, we propose a novel font-agnostic scene text editing and rendering framework, named FASTER, for simultaneously generating text in arbitrary styles and locations while preserving a natural and realistic appearance and structure. A combined fusion of target mask generation and style transfer units, with a cascaded self-attention mechanism has been proposed to focus on multi-level text region edits to handle varying word lengths. Extensive evaluation on a real-world database with further subjective human evaluation study indicates the superiority of FASTER in both scene text editing and rendering tasks, in terms of model performance and efficiency. Our code will be released upon acceptance.

研究の動機と目的

• 複雑な背景、異なるフォントスタイル、および異なる語長に対処できない既存のシーンテキスト編集（STE）手法の限界を解消すること。
• 文字レベルではなくワードレベルでの編集を実現することで、歪みを低減し、効率を向上させること。
• スタイル変換を特定のフォント依存から分離することで、任意のフォントスタイル、サイズ、色でのフォントに依存しない編集を可能にすること。
• マスク生成とスタイル変換を統合されたGANフレームワークで組み合わせることで、自然な外観と滑らかな統合を維持すること。
• 境界アーチファクトや視覚的不整合を低減することで、編集済みテキスト領域のリアルリズムと一貫性を向上させること。

提案手法

• 高精細な画像合成を保証するため、マルチスケールのスキップ接続を備えたU-NetベースのジェネレータとPatchGANディスクラミネーターを採用する。
• 下層ではシグモイドアテンション、上層ではセルフアテンションを組み合わせた新規アテンション機構を導入し、特徴表現と空間モデリングを強化する。
• モデルはバイナリソースマスク $I_A$ と固定フォアグラウンドマスク $m_F$ を入力とし、チャネル方向に連結して $m_\theta = (m_A, m_F)$ として入力する。
• 2段階のトレーニング戦略を採用し、最初にMOSTELデータセットで事前学習を行い、その後MOSTELとSRNETの混合データセットで微調整することで一般化性能を向上させる。
• スタイル変換モジュールは、条件付きGANを用いた画像間変換を実行し、背景の文脈を保持したまま、ターゲットスタイルに一致するリアルなテキスト画像を生成する。
• データミキシング戦略により、MOSTELとSRNETのデータセットを組み合わせ、多様性とロバストネスを向上させ、未観測のテキストレイアウトやフォントに対しても性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 任意のフォント、サイズ、色で編集されたテキストにおいて、シーンテキスト編集フレームワークが高いリアルリズムと一貫性を達成できるか？
• RQ2 ワードレベル編集は文字レベル編集と比較して、歪みと背景の保持の点でどのように異なるか？
• RQ3 マスクガイドドでスタイルに依存しないアプローチは、複雑な背景や不規則なテキストレイアウトにどの程度一般化できるか？
• RQ4 アテンション機構の設計が、シーンテキスト編集における生成画像品質に与える影響は何か？
• RQ5 複数のデータセットからのデータミキシングは、モデルのロバストネスと一般化性能の向上にどの程度効果的か？

主な発見

• アブレーションスタディの結果、下層にシグモイドアテンション、上層にセルフアテンションを組み合わせたアーキテクチャが最良の性能を示し、MSEが0.0171、PSNRが19.04、SSIMが0.707を達成した。
• MOSTELとSRNETの混合データセットを用いることで、単一データセットでの学習に比べて性能が向上し、MSEは0.0162に低下し、PSNRは19.19に上昇、SSIMは0.718に向上した。
• ソース画像 $I_A$ とバイナリマスク $m_A$ の両方を入力に含めることで顕著な性能向上が得られ、MSEは0.0135、PSNRは20.20に達した。マスクのみを入力とするモデルを上回る性能を示した。
• Realデータセットにおいて最先端の結果を達成し、先行手法と比較して優れた視覚的リアルリズムと境界アーチファクトの低減を実証した。
• 失敗事例は主に重複または歪んだテキストがある複雑なレイアウトで発生し、正確なマスク生成が依然として困難であることが判明した。
• 本手法は異なる語長に強く、ソースと異なる文字数のターゲットテキストを生成可能であるため、実世界の編集タスクにおける柔軟性を確認した。