[논문 리뷰] AutoSTR: Efficient Backbone Search for Scene Text Recognition

Hui Zhang, Quanming Yao외 3명|arXiv (Cornell University)|2020. 03. 14.

Handwritten Text Recognition Techniques참고 문헌 48인용 수 4

한 줄 요약

AutoSTR는 작동 및 다운샘플링 경로 최적화를 분리하는 새로운 이단계 신경망 구조 탐색(NAS) 알고리즘을 사용하여 장면 텍스트 인식을 위한 데이터 의존적 백본 검색 프레임워크를 제안한다. 도메인 특화의 검색 공간과 FLOPS 정규화를 설계함으로써, 기존의 SOTA 방법보다 훨씬 적은 FLOPS와 파라미터로 더 높은 성능을 내는 효율적인 백본을 발견한다.

ABSTRACT

Scene text recognition (STR) is very challenging due to the diversity of text instances and the complexity of scenes. The community has paid increasing attention to boost the performance by improving the pre-processing image module, like rectification and deblurring, or the sequence translator. However, another critical module, i.e., the feature sequence extractor, has not been extensively explored. In this work, inspired by the success of neural architecture search (NAS), which can identify better architectures than human-designed ones, we propose automated STR (AutoSTR) to search data-dependent backbones to boost text recognition performance. First, we design a domain-specific search space for STR, which contains both choices on operations and constraints on the downsampling path. Then, we propose a two-step search algorithm, which decouples operations and downsampling path, for an efficient search in the given space. Experiments demonstrate that, by searching data-dependent backbones, AutoSTR can outperform the state-of-the-art approaches on standard benchmarks with much fewer FLOPS and model parameters.

연구 동기 및 목표

• 현재 다른 작업에서 사전 학습된 백본을 사용하고 있기 때문에, 장면 텍스트 인식(STR) 분야에서 전용의 데이터 의존적 백본 설계가 부족한 문제를 해결하기 위해.
• STR를 위한 작동 선택과 공간 다운샘플링 경로 제약 조건을 모두 포함하는 도메인 특화의 검색 공간을 개발하기 위해.
• 기존 NAS 방법이 경로 제약 조건이 있는 검색 공간에서 효과적으로 작동하지 못하는 문제를 해결하기 위해, 작동과 다운샘플링 경로 검색을 분리하는 효율적인 이단계 NAS 알고리즘을 설계하기 위해.
• 검색 과정 중 FLOPS 정규화를 도입하여 정확도와 모델 복잡도 사이의 균형을 맞추기 위해.
• NAS 최적화 백본이 더 낮은 계산 비용으로도 SOTA 수준의 STR 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 컨볼루션 작동(예: 3×3 디프웨이즈, MBConv)과 다운샘플링 경로에 대한 명시적 제약 조건을 포함하는 도메인 특화의 검색 공간을 제안한다.
• 이단계 검색 알고리즘을 도입: 첫 번째로 다운샘플링 경로 최적화, 두 번째로 학습된 경로에 조건부 작동 최적화.
• 기존 NAS 방법이 효과적으로 처리하지 못하는 공간 경로 제약 조건을 효율적으로 다루기 위해 검색 문제를 분리한다.
• 정확도와 모델 복잡도의 균형을 맞추기 위해 목적 함수에 FLOPS를 정규화 항으로 통합한다.
• 가중치 공유 메커니즘을 사용한 미분 가능 검색 전략을 통해 검색 공간 내 아키텍처를 효율적으로 평가한다.
• 최종으로 검색된 아키텍처를 표준 STR 벤치마크에서 처음부터 재학습하여 성능을 검증한다.

실험 결과

연구 질문

• RQ1 NAS를 통해 발견한 데이터 의존적 백본이 ResNet이나 VGG와 같은 고정된 백본보다 장면 텍스트 인식 정확도를 크게 향상시킬 수 있는가?
• RQ2 작동과 다운샘플링 경로 검색을 분리하는 것은 STR에서 NAS의 효율성과 효과성에 어떤 영향을 미치는가?
• RQ3 검색 중 FLOPS 정규화를 통해 정확도를 희생시키지 않고 모델 복잡도를 얼마나 줄일 수 있는가?
• RQ4 이미지 분류 작업에서 검색된 NAS 아키텍처를 장면 텍스트 인식에 효과적으로 재사용할 수 있는가?
• RQ5 다운샘플링 경로의 선택이 검색된 아키텍처의 최종 성능에 상당한 영향을 미치는가?

주요 결과

• AutoSTR는 모든 표준 STR 벤치마크(IIIT5K, SVT, IC13, IC15, SVTP)에서 SOTA 정확도를 달성했으며, IIIT5K에서 94.7%의 정확도를 기록하여 베이스라인보다 0.2% 높다.
• 기존 베이스라인 대비 FLOPS는 53% 감소(319M에서 149M로), 파라미터는 65% 감소(3.82M에서 1.32M로)하면서도 정확도가 향상되었다.
• 이단계 검색 알고리즘이 검색 비용을 2.2×4 GPU 일로 줄여, 무작위 검색(15×4 GPU 일)보다 훨씬 빠르면서도 더 높은 성능을 내었다.
• 이미지 분류 작업에서 검색된 아키텍처(DARTS, AutoDeepLab)를 직접 재사용할 경우 성능이 크게 떨어졌으며(예: IIIT5K에서 90.6%), 도메인 특화의 검색이 필수적임을 입증했다.
• ABABB 다운샘플링 경로 전략이 IIIT5K에서 94.7%의 정확도를 기록하여 AABBB(93.9%)를 능가했으며, 경로 설계의 중요성을 확인했다.
• β=0.6 정규화가 최적의 균형을 이룩하여, 256M FLOPS와 2.36M 파라미터로 94.7% 정확도를 달성했다.