[논문 리뷰] Synthetic-to-Real Unsupervised Domain Adaptation for Scene Text Detection in the Wild

Weijia Wu, Lu Ning외 1명|arXiv (Cornell University)|2020. 09. 03.

Handwritten Text Recognition Techniques참고 문헌 46인용 수 4

한 줄 요약

이 논문은 텍스트 자기학습(TST)과 적대적 텍스트 인스턴스 정렬(ATA)을 사용하여 합성 데이터에서 실제 데이터로의 비지도 도메인 적응을 위한 새로운 방법을 제안한다. TST는 가짜 레이블에서 오소 탐지 및 부족 탐지를 줄이며, ATA는 적대적 학습을 통해 도메인 불변 특징을 강화하여, 합성 데이터에서 실제 데이터로 전이할 때 ICDAR2013에서 최대 11.3%의 F-스코어 향상과 ICDAR2015에서 9.3%의 향상을 달성한다.

ABSTRACT

Deep learning-based scene text detection can achieve preferable performance, powered with sufficient labeled training data. However, manual labeling is time consuming and laborious. At the extreme, the corresponding annotated data are unavailable. Exploiting synthetic data is a very promising solution except for domain distribution mismatches between synthetic datasets and real datasets. To address the severe domain distribution mismatch, we propose a synthetic-to-real domain adaptation method for scene text detection, which transfers knowledge from synthetic data (source domain) to real data (target domain). In this paper, a text self-training (TST) method and adversarial text instance alignment (ATA) for domain adaptive scene text detection are introduced. ATA helps the network learn domain-invariant features by training a domain classifier in an adversarial manner. TST diminishes the adverse effects of false positives~(FPs) and false negatives~(FNs) from inaccurate pseudo-labels. Two components have positive effects on improving the performance of scene text detectors when adapting from synthetic-to-real scenes. We evaluate the proposed method by transferring from SynthText, VISD to ICDAR2015, ICDAR2013. The results demonstrate the effectiveness of the proposed method with up to 10% improvement, which has important exploration significance for domain adaptive scene text detection. Code is available at https://github.com/weijiawu/SyntoReal_STD

연구 동기 및 목표

• 합성 데이터와 실제 데이터 간의 도메인 차이로 인해 합성 데이터로만 훈련된 모델의 성능이 떨어지는 문제를 해결하기 위해.
• 자기학습 과정에서 노이즈가 많은 가짜 레이블(오소 탐지 및 부족 탐지)의 부정적 영향을 줄이기 위해.
• 텍스트 인스턴스 수준의 표현을 기반으로 한 적대적 학습을 통해 도메인 불변 특징을 학습하기 위해.
• 실제 레이블이 필요한 것을 고려하지 않고도 합성 데이터(소스 도메인)에서 실제 세계 데이터(타겟 도메인)로 효과적인 지식 전이를 가능하게 하기 위해.

제안 방법

• 낮은 신뢰도 예측을 스토크 너비 일관성과 신뢰도 임계값을 사용해 필터링함으로써 가짜 레이블을 개선하기 위해 텍스트 자기학습(TST)을 도입한다.
• ε₁ 및 ε₂ 매개변수를 가진 임계값 기반 필터링 메커니즘이 가짜 레이블 인스턴스의 오소 탐지 및 부족 탐지를 억제하기 위해 적용된다.
• 적대적 텍스트 인스턴스 정렬(ATA)은 소스(합성)와 타겟(실제) 텍스트 특징을 구별하도록 도메인 구분자를 훈련시켜 적대적 방식으로 특징을 정렬한다.
• 검출 헤드, TST 개선, 적대적 손실를 함께 최적화하여 도메인 간 특징 정렬을 이루면서도 검출 정확도를 유지한다.
• 모델는 사전 훈련 후에 실제 데이터를 레이블 없이 사용하여 미세조정하는 동안 EAST 기반 검출기에서 평가된다.
• 프레임워크는 소스 데이터에 대한 지도 학습 손실과 타겟 데이터에서 개선된 가짜 레이블을 사용한 자기학습을 조합하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 텍스트 자기학습은 도메인 적응 과정에서 가짜 레이블의 오소 탐지 및 부족 탐지를 효과적으로 줄일 수 있는가?
• RQ2 적대적 텍스트 인스턴스 정렬은 합성 도메인과 실제 도메인 간 특징 일반화를 어느 정도 향상시킬 수 있는가?
• RQ3 제안된 방법은 합성 데이터에서 실제 세계의 장면 텍스트 검출 벤치마크로 지식 전이를 얼마나 효과적으로 수행하는가?
• RQ4 초기화 매개변수 선택(예: ε₁, ε₂)이 자기학습 구성 요소의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 SynthText에서 ICDAR2013로 전이할 때 F-스코어를 11.3%p 절대적으로 향상시켜 기준 모델을 크게 능가했다.
• SynthText → ICDAR2015 전이 시, F-스코어가 9.3% 향상되어 강력한 도메인 적응 성능를 입증했다.
• VISD를 소스 도메인으로 사용했을 때, ICDAR2015에서 F-스코어가 9.3% 향상되어 다양한 합성 데이터 분포에 대해 효과적임을 확인했다.
• 절단 분석 결과, TST와 ATA를 함께 사용할 경우 성능 향상이 가장 크게 나타났으며(SynthText → ICDAR2015에서 7.5% 향상), 각 구성 요소가 독립적으로 기여함을 확인했다.
• 초기화 매개변수 민감도 분석 결과, ε₁ = 3 및 ε₂ = 0.3가 최적의 성능을 내며, 결과는 초기화 매개변수 변화에 대해 상대적으로 안정적임을 확인했다.
• 정성적 결과는 복잡한 배경과 다양한 텍스트 형태에 대해 더 뛰어난 강건성과 함께 오소 탐지 감소 및 더 나은 국소화 성능을 보여주었다.