[논문 리뷰] FASTER: A Font-Agnostic Scene Text Editing and Rendering Framework

Alloy Das, Biswas, Sanket외 6명|arXiv (Cornell University)|2023. 08. 05.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

이 논문은 GAN 기반 아키텍처를 사용하여 동시에 마스크 생성과 스타일 전이를 수행하는 폰트 무관 장면 텍스트 편집 프레임워크 FAST를 제안한다. 배경의 간섭을 줄이고 적응형 어텐션 메커니즘을 적용함으로써 FAST는 다양한 폰트 스타일, 크기, 단어 길이에 걸쳐 뛰어난 현실감과 일반화 능력을 달성하며, 벤치마크 데이터셋에서 정성적 및 정량적 평가에서 이전 방법들을 능가한다.

ABSTRACT

Scene Text Editing (STE) is a challenging research problem, that primarily aims towards modifying existing texts in an image while preserving the background and the font style of the original text. Despite its utility in numerous real-world applications, existing style-transfer-based approaches have shown sub-par editing performance due to (1) complex image backgrounds, (2) diverse font attributes, and (3) varying word lengths within the text. To address such limitations, in this paper, we propose a novel font-agnostic scene text editing and rendering framework, named FASTER, for simultaneously generating text in arbitrary styles and locations while preserving a natural and realistic appearance and structure. A combined fusion of target mask generation and style transfer units, with a cascaded self-attention mechanism has been proposed to focus on multi-level text region edits to handle varying word lengths. Extensive evaluation on a real-world database with further subjective human evaluation study indicates the superiority of FASTER in both scene text editing and rendering tasks, in terms of model performance and efficiency. Our code will be released upon acceptance.

연구 동기 및 목표

• 복잡한 배경, 다양한 폰트 스타일, 다른 단어 길이로 인해 기존 장면 텍스트 편집(STE) 방법이 어려움을 겪는 문제를 해결하기 위해.
• 문자 수준이 아닌 워드 수준에서 편집을 수행하여 왜곡을 줄이고 효율성을 향상시키기 위해.
• 스タイル 전이를 특정 폰트 종속성에서 분리함으로써 임의의 폰트 스타일, 크기, 색상에 대해 폰트 무관 편집을 가능하게 하기 위해.
• 통합된 GAN 프레임워크에서 마스크 생성과 스타일 전이를 결합하여 자연스러운 외관과 원활한 통합을 유지하기 위해.
• 경계 아티팩트와 시각적 불일치를 최소화하여 편집된 텍스트 영역의 현실감과 일관성을 향상시키기 위해.

제안 방법

• 고정밀 이미지 합성을 보장하기 위해 U-Net 기반 생성자와 다중 스케일 스케일 연결, PatchGAN 판별기를 사용한다.
• 낮은 계층에서는 시그모이드 어텐션과 고려 계층에서는 자기어텐션을 조합하는 새로운 어텐션 메커니즘이 특징이며, 이는 특징 표현과 공간 모델링을 향상시킨다.
• 모델은 이진 소스 마스크 $I_A$ 와 고정된 프론트엔드 마스크 $m_F$ 를 입력으로 받아 채널 방향으로 연결하여 $m_\theta = (m_A, m_F)$ 를 입력으로 사용한다.
• 두 단계 훈련 전략은 먼저 MOSTEL 데이터셋에서 사전 훈련하고, 그 후 MOSTEL과 SRNET의 혼합 데이터셋에서 미세조정하여 일반화 능력을 향상시킨다.
• 스타일 전이 모듈은 조건부 GAN을 사용하여 이미지 간 번역을 수행하며, 배경 맥락을 유지하면서 목표 스타일과 일치하는 현실적인 텍스트 이미지를 생성한다.
• 데이터 혼합 전략은 MOSTEL과 SRNET 데이터셋을 결합하여 다양성과 강건성을 향상시키며, 예측 불가능한 텍스트 레이아웃과 폰트에서의 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 임의의 폰트 스타일, 크기, 색상에서 장면 텍스트 편집 프레임워크가 고도로 현실적이며 일관성 있는 성능을 달성할 수 있는가?
• RQ2 왜곡과 배경 보존 측면에서 워드 레벨 편집은 문자 수준 편집보다 어떻게 다를까?
• RQ3 마스크 유도, 스타일 무관 접근 방식이 복잡한 배경과 비정규적인 텍스트 레이아웃에 걸쳐 얼마나 일반화되는가?
• RQ4 어텐션 메커니즘 설계가 장면 텍스트 편집에서 생성된 텍스트 이미지 품질에 어떤 영향을 미치는가?
• RQ5 다양한 데이터셋에서의 데이터 혼합 전략이 모델의 강건성과 일반화 능력 향상에 얼마나 효과적인가?

주요 결과

• 제거 실험 결과, 낮은 계층에 시그모이드 어텐션과 높은 계층에 자기어텐션을 조합한 경우가 가장 우수한 성능을 보였으며, MSE는 0.0171, PSNR는 19.04, SSIM는 0.707을 기록했다.
• MOSTEL과 SRNET 데이터셋의 혼합 데이터를 사용하면 단일 데이터셋 훈련보다 성능 향상이 뚜렷했으며, MSE는 0.0162로 감소하고 PSNR는 19.19로 상승하고 SSIM는 0.718로 향상되었다.
• 소스 이미지 $I_A$ 와 이진 마스크 $m_A$ 를 모두 입력으로 포함할 경우 성능 향상이著명했으며, MSE는 0.0135, PSNR는 20.20을 기록하여 오직 마스크만 사용하는 모델보다 뛰어났다.
• Real 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 이전 방법들에 비해 뛰어난 시각적 현실감과 경계 아티팩트 감소를 입증했다.
• 실패 사례는 주로 겹치거나 왜곡된 텍스트가 있는 복잡한 레이아웃에서 발생하며, 정확한 마스크 생성이 여전히 도전 과제로 남아 있다.
• 모델은 다양한 단어 길이에 대해 강건하며, 소스와 다른 문자 수를 가진 타겟 텍스트를 생성할 수 있어 실제 편집 작업에서의 유연성을 확인했다.