[논문 리뷰] RewriteNet: Realistic Scene Text Image Generation via Editing Text in Real-world Image

Junyeop Lee, Yoonsik Kim외 5명|arXiv (Cornell University)|2021. 07. 23.

Handwritten Text Recognition Techniques참고 문헌 47인용 수 6

한 줄 요약

RewriteNet는 실세계 이미지에서 텍스트 인식기로 내용 인코딩과 원본 이미지의 스타일 특징을 사용하여 내용과 스타일 특징을 분리하는 새로운 스냅샷 텍스트 편집 모델이다. 이는 고해상도 텍스트 교체를 가능하게 하며, 자기지도 학습 기반의 훈련 방식을 통해 실세계 이미지를 활용함으로써 합성 데이터와 실세계 간의 도메인 갭을 해소하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Scene text editing (STE), which converts a text in a scene image into the desired text while preserving an original style, is a challenging task due to a complex intervention between text and style. To address this challenge, we propose a novel representational learning-based STE model, referred to as RewriteNet that employs textual information as well as visual information. We assume that the scene text image can be decomposed into content and style features where the former represents the text information and style represents scene text characteristics such as font, alignment, and background. Under this assumption, we propose a method to separately encode content and style features of the input image by introducing the scene text recognizer that is trained by text information. Then, a text-edited image is generated by combining the style feature from the original image and the content feature from the target text. Unlike previous works that are only able to use synthetic images in the training phase, we also exploit real-world images by proposing a self-supervised training scheme, which bridges the domain gap between synthetic and real data. Our experiments demonstrate that RewriteNet achieves better quantitative and qualitative performance than other comparisons. Moreover, we validate that the use of text information and the self-supervised training scheme improves text switching performance. The implementation and dataset will be publicly available.

연구 동기 및 목표

• 실세계 이미지에서 텍스트와 스타일이 상호의존적인 현실적인 스냅샷 텍스트 편집(Ste) 문제를 해결한다.
• 기존 방법의 성능을 제한하는 합성 훈련 데이터와 실세계 테스트 이미지 간의 도메인 갭을 극복한다.
• 텍스트 내용을 정확하게 교체하면서도 원본 이미지의 스타일(예: 폰트, 정렬, 배경)을 유지하는 방법을 개발한다.
• 짝지어진 실세계-실세계 애너테이션 없이도 실세계 이미지에서 훈련할 수 있도록 하여 합성 데이터 의존도를 줄인다.

제안 방법

• 실세계 이미지에서 텍스트 내용 특징(콘텐츠)과 폰트, 정렬, 배경 등 스타일 특징을 분리하기 위해 분리 표현 학습 프레임워크를 사용한다.
• 입력 이미지에서 내용 특징을 추출하기 위해 스냅샷 텍스트 인식기를 훈련시어, 정확한 텍스트 표현 학습을 가능하게 한다.
• 합성곱 인코더를 사용해 원본 이미지에서 스타일 특징을 인코딩하여 시각적 특징을 유지한다.
• 편집된 이미지를 생성하기 위해 원본 스타일 특징과 대상 텍스트의 콘텐츠 특징을 조합한다.
• 재구성 및 대비 학습 목표를 사용해 실세계 이미지를 활용하는 자기지도 학습 기반의 훈련 체계를 구현한다.
• 자기지도 학습 체계를 통해 합성 및 실세계 데이터 양쪽 도메인을 동시에 훈련시켜 합성과 실세계 간의 도메인 갭을 해소한다.

실험 결과

연구 질문

• RQ1 분리 표현 학습 접근법은 스냅샷 텍스트 이미지에서 텍스트 내용과 시각적 스타일을 효과적으로 분리할 수 있는가?
• RQ2 스냅샷 텍스트 인식기에서 추출한 텍스트 정보를 통합함으로써 텍스트 편집의 정밀도와 정확도는 어떻게 향상되는가?
• RQ3 실세계 이미지에서 자기지도 학습을 수행할 경우 도메인 갭은 어느 정도 감소하고 실세계 테스트 데이터 성능은 어떻게 향상되는가?
• RQ4 제안된 방법은 실세계 스냅샷 텍스트 편집에서 정량적 지표와 정성적 현실성 모두에서 기존 베이스라인을 초월하는가?

주요 결과

• RewriteNet는 기존 방법에 비해 스냅샷 텍스트 편집 벤치마크에서 뛰어난 정량적 성능을 달성한다.
• 텍스트 인식기를 활용한 콘텐츠 인코딩 통합이 텍스트 교체 정확도를 크게 향상시킨다.
• 자기지도 학습 기반 훈련 체계를 통해 실세계 이미지의 효과적 활용이 가능해져 합성 데이터 의존도가 감소하고 일반화 능력이 향상된다.
• 모델은 폰트, 정렬, 배경 일관성 등을 유지하는 현실적인 편집 결과를 잘 생성함으로써 뛰어난 정성적 성능을 보였다.
• 제거 실험을 통해 텍스트 정보 사용과 자기지도 학습 체계가 모두 텍스트 교체 성능 향상에 기여한다는 것이 확인되었다.
• 구현 코드와 데이터셋은 재현 가능성 및 향후 연구를 지원하기 위해 공개될 예정이다.