[논문 리뷰] Real-World Font Recognition Using Deep Network and Domain Adaptation

Zhangyang Wang, Shuicheng Yan외 5명|arXiv (Cornell University)|2015. 03. 31.

Advanced Image and Video Retrieval Techniques참고 문헌 6인용 수 5

한 줄 요약

이 논문은 실세계 폰트 인식을 위한 딥 도메인 어댑테이션 방법을 제안하며, 합성 훈련 데이터와 실세계 테스트 이미지 사이의 도메인 갭을 메우기 위해 스택드 컨volution 오토에인커(Staked Convolutional Auto-Encoder, SCAE)를 사용한다. 비라벨된 합성 이미지와 실세계 이미지 양측에서 첫 두 합성곱 레이어를 공동으로 사전 훈련하고, 나머지 레이어를 라벨이 부여된 합성 데이터로 미세조정함으로써, VFRWild325 벤치마크에서 20.62%의 상위 5개 오차를 달성하며 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

We address a challenging fine-grain classification problem: recognizing a font style from an image of text. In this task, it is very easy to generate lots of rendered font examples but very hard to obtain real-world labeled images. This real-to-synthetic domain gap caused poor generalization to new real data in previous methods (Chen et al. (2014)). In this paper, we refer to Convolutional Neural Networks, and use an adaptation technique based on a Stacked Convolutional Auto-Encoder that exploits unlabeled real-world images combined with synthetic data. The proposed method achieves an accuracy of higher than 80% (top-5) on a real-world dataset.

연구 동기 및 목표

• 합성 훈련 데이터와 실세계 테스트 이미지 사이의 도메인 갭으로 인한 일반화 성능 열악함 문제를 해결하기 위해.
• 제한된 라벨이 부여된 실세계 예제를 바탕으로 실세계 데이터에서의 세분화된 폰트 분류 성능을 향상시키기 위해.
• 대규모 합성 데이터와 라벨 없이 제공된 실세계 이미지를 조합하여 모델의 강건성을 향상시키기 위해.
• 실세계 레이블링에 드는 비용을 줄이기 위해 비지도 도메인 어댑테이션 기법을 활용함으로써 의존도를 낮추기 위해.

제안 방법

• 비라벨된 합성 이미지와 실세계 텍스트 이미지를 조합하여 훈련한 스택드 컨볼루션 오토에인커(Staked Convolutional Auto-Encoder, SCAE)는 공통의 저수준 시각적 특징을 학습한다.
• SCAE의 첫 번째 K=2개의 합성곱 레이어가 ImageNet 모델을 영감으로 삼은 CNN 아키텍처로 이전되어 공유 특징 인코더를 형성한다.
• CNN의 나머지 N−K개 레이어는 표준 backpropagation를 사용하여 2,383개의 라벨이 부여된 합성 폰트 클래스로 감독 학습된다.
• 라벨를 유지하는 데이터 증강 기법—예를 들어 문자 간격, 종횡비 변화, 그리고 블러, 노이즈, 그림자 등의 왜곡 적용—을 합성 훈련 데이터에 적용하여 도메인 강건성을 향상시킨다.
• SCAE는 대칭 아키텍처로 초기화되며, 입력과 재구성된 패치 간의 평균 제곱오차(MSE)를 사용하여 훈련된다.
• 혼합 도메인에서의 비지도 사전 훈련과 감독 학습을 통한 미세조정을 조합함으로써, 실세계 분포 변화에 효과적으로 적응할 수 있다.

실험 결과

연구 질문

• RQ1 라벨가 없는 실세계 예제 없이도 합성 폰트 데이터로 훈련된 딥 신경망이 실세계 폰트 인식으로 효과적으로 일반화될 수 있는가?
• RQ2 스택드 컨볼루션 오토에인커는 합성 및 실세계 텍스트 이미지 간의 공통 저수준 특징을 학습하는 데 도메인 어댑테이션에 얼마나 효과적인가?
• RQ3 라벨를 유지하는 데이터 증강 기법이 폰트 인식에서 도메인 갭을 어느 정도 줄이는가?
• RQ4 비라벨된 실세계 데이터와 합성 데이터를 함께 사전 훈련하는 것이 순수 합성 훈련에 비해 실세계 벤치마크에서 상위 1위 및 상위 5위 정확도를 향상시키는가?

주요 결과

• 제안된 방법은 실세계 폰트 인식 벤치마크 VFRWild325에서 20.62%의 상위 5개 오차를 달성하며, 베이스라인 LFE 방법보다 뚜렷이 뛰어난 성능을 보였다.
• LFE 베이스라인에 비해 상위 1위 오차는 6%포인트 감소하고 상위 5위 오차는 10%포인트 감소하였다.
• 합성 데이터와 비라벨된 실세계 이미지 양측에서 SCAE 사전 훈련을 적용함으로써 실세계 테스트 이미지로의 일반화 성능 향상이 뚜렷하게 향상되었다.
• 라벨를 유지하는 데이터 증강 기법—예를 들어 간격, 종횡비 변화, 왜곡 적용—은 실세계 변형에 대한 모델 강건성을 크게 향상시켰다.
• 비지도 도메인 어댑테이션 기반 SCAE를 통한 실세계 도메인 갭 해소가 세분화된 폰트 인식에서 효과적으로 작용함을 입증하였다.
• 성능 향상의 원인은 초기 CNN 레이어에서의 공통 특징 학습으로, 양 도메인에 공통적으로 존재하는 시각적 패턴을 포착하기 때문이다.