[논문 리뷰] Efficient Backbone Search for Scene Text Recognition.

Hui Zhang, Quanming Yao외 3명|arXiv (Cornell University)|2020. 03. 14.

Handwritten Text Recognition Techniques인용 수 12

한 줄 요약

이 논문은 도메인 특화된 검색 공간과 이중 단계 검색 알고리즘을 통해 데이터 의존적 백본을 설계하는 자동화된 신경망 아키텍처 탐색 프레임워크인 AutoSTR를 제안한다. 연산과 다운샘플링 경로의 검색을 분리함으로써 AutoSTR는 표준 벤치마크에서 상당히 적은 FLOPS와 파라미터로 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Scene text recognition (STR) is very challenging due to the diversity of text instances and the complexity of scenes. The community has paid increasing attention to boost the performance by improving the pre-processing image module, like rectification and deblurring, or the sequence translator. However, another critical module, i.e., the feature sequence extractor, has not been extensively explored. In this work, inspired by the success of neural architecture search (NAS), which can identify better architectures than human-designed ones, we propose automated STR (AutoSTR) to search data-dependent backbones to boost text recognition performance. First, we design a domain-specific search space for STR, which contains both choices on operations and constraints on the downsampling path. Then, we propose a two-step search algorithm, which decouples operations and downsampling path, for an efficient search in the given space. Experiments demonstrate that, by searching data-dependent backbones, AutoSTR can outperform the state-of-the-art approaches on standard benchmarks with much fewer FLOPS and model parameters.

연구 동기 및 목표

• 스트리트 텍스트 인식(STR)에서 특징 시퀀스 추출기의 미흡하게 다뤄진 역할을 해결하기 위해.
• 인간이 설계한 아키텍처를 능가하는 데이터 의존적 백본을 자동으로 탐색하는 방법을 개발하기 위해.
• 정확도를 유지하거나 향상시키면서도 FLOPS와 모델 파라미터를 최소화하여 STR의 계산 비용을 줄이기 위해.
• 스트리트 텍스트 인식의 고유한 과제에 맞게 설계된 도메인 특화된 검색 공간을 설계하기 위해.

제안 방법

• STR에 적합한 도메인 특화된 검색 공간을 설계하여 연산 선택과 다운샘플링 경로에 대한 제약 조건을 포함시키기 위해.
• 연산과 다운샘플링 경로의 검색을 분리함으로써 검색 효율성을 향상시키는 이중 단계 검색 알고리즘을 제안하기 위해.
• 정의된 검색 공간 내에서 아키텍처를 최적화하기 위해 미분 가능한 검색 전략을 사용하기 위해.
• 표준 스트리트 텍스트 인식 벤치마크에서 검색된 아키텍처를 훈련하고 평가하여 성능을 검증하기 위해.
• 정확도를 희생시키지 않고도 최종 모델의 효율성을 향상시키기 위해 지식 증류를 적용하기 위해.

실험 결과

연구 질문

• RQ1 자동화된 신경망 아키텍처 탐색이 인간이 설계한 아키텍처보다 더 나은 백본을 효과적으로 발견할 수 있는가?
• RQ2 연산과 다운샘플링 경로의 검색을 분리함으로써 STR에서 효율성과 성능이 어떻게 향상되는가?
• RQ3 데이터 의존적 아키텍처 탐색이 STR에서 FLOPS와 모델 파라미터를 줄이는 데 어떤 영향을 미치는가?
• RQ4 제안된 방법이 표준 STR 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• AutoSTR는 표준 스트리트 텍스트 인식 벤치마크에서 기존 방법들을 능가하는 최신 기술 수준의 정확도를 달성한다.
• 이전의 최신 기술 수준 모델들과 비교해 AutoSTR의 백본 아키텍처는 FLOPS를 상당히 줄였다.
• AutoSTR의 모델 파라미터 수는 최신 기술 수준의 접근 방식보다 상당히 적어 더 높은 효율성을 나타낸다.
• 이중 단계 검색 알고리즘이 성능을 훼손하지 않으면서도 검색 공간의 효율적 탐색을 가능하게 한다.