[논문 리뷰] A Binary Convolutional Encoder-decoder Network for Real-time Natural Scene Text Processing

Zichuan Liu, Yixing Li외 2명|arXiv (Cornell University)|2016. 12. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 11인용 수 12

한 줄 요약

이 논문은 단일 순방향 전파에서 다중 문자를 동시에 검출하고 인식할 수 있도록 설계된 이진 컨볼루션 인코더-디코더 네트워크인 B-CEDNet을 제안한다. 학습 중 이진 제약 조건을 적용하여 이진 가중치와 활성화를 강제함으로써, ICDAR-13에서 91%의 픽셀 단위 정확도를 달성하면서도 추론 시간은 4.59ms, 모델 크기는 2.14MB에 그치며, 전체 정밀도 대비 8배 빠르고 96% 작게 된다.

ABSTRACT

In this paper, we develop a binary convolutional encoder-decoder network (B-CEDNet) for natural scene text processing (NSTP). It converts a text image to a class-distinguished salience map that reveals the categorical, spatial and morphological information of characters. The existing solutions are either memory consuming or run-time consuming that cannot be applied to real-time applications on resource-constrained devices such as advanced driver assistance systems. The developed network can process multiple regions containing characters by one-off forward operation, and is trained to have binary weights and binary feature maps, which lead to both remarkable inference run-time speedup and memory usage reduction. By training with over 200, 000 synthesis scene text images (size of $32 imes128$), it can achieve $90\%$ and $91\%$ pixel-wise accuracy on ICDAR-03 and ICDAR-13 datasets. It only consumes $4.59\ ms$ inference run-time realized on GPU with a small network size of 2.14 MB, which is up to $8 imes$ faster and $96\%$ smaller than it full-precision version.

연구 동기 및 목표

• 자원 제약이 있는 디바이스에서 실시간 자연 풍경 텍스트 처리(NSTP)를 위한 메모리 효율적이고 저지연 솔루션의 부족을 해결한다.
• 기존의 단어 수준 및 문자 수준 인식 방법에서의 순차적 문자 검출 및 높은 메모리 사용량의 한계를 극복한다.
• 주의도 맵을 통해 공간적, 범주형, 형태학적 정보를 학습함으로써, 한 번의 전방 전파에서 동시에 다중 문자 예측이 가능한 one-shot 병렬 예측을 가능하게 한다.
• 정확도를 훼손하지 않으면서도 이진 가중치와 활성화 제약 조건을 통해 높은 추론 속도와 낮은 메모리 소비를 달성한다.

제안 방법

• 입력 이미지를 이진 형식으로 변환하는 어댑터 모듈을 갖춘 이진 인코더-디코더 아키텍처를 설계한다.
• 표준 컨볼루션을 대체하여 효율적인 계산을 위한 XNOR 연산을 사용하는 이진 컨볼루션 레이어를 구현한다.
• 각 인코더 블록에서 배치 정규화와 최대 풀링을 적용하여 학습 안정성 향상 및 특징 다운샘플링을 수행한다.
• 디코더에서 디컨볼루션 레이어를 사용하여 고해상도의 주의도 맵을 업샘플링하고 입력 이미지 크기와 일치시킨다.
• 각 블록 후에 이진화 레이어를 도입하여 이진 활성화를 강제함으로써 비트 수준 병렬 처리를 가능하게 한다.
• 출력이 27개 클래스(26개의 영문자 + 배경)에 대한 확률 분포가 되도록 픽셀 단위의 다중 범주형 감독을 사용한 교차 엔트로피 손실 함수로 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 이진 컨볼루션 인코더-디코더 네트워크는 실시간 추론 속도를 유지하면서도 자연 풍경 텍스트 처리에서 높은 정확도를 달성할 수 있는가?
• RQ2 이진 가중치와 활성화의 사용이 정확도를 저하시키지 않으면서도 메모리 사용량을 줄이고 추론 속도를 높이는 데 얼마나 효과적인가?
• RQ3 제안된 네트워크는 단일 순방향 전파에서 다중 문자를 동시에 검출하고 인식할 수 있는가? 기존 순차적 검출 방법보다 우월한가?
• RQ4 합성 데이터로 훈련된 모델이 실제 환경의 조명 및 대비 변화에 얼마나 일반화되는가?
• RQ5 기존 컨볼루션 커널 대비 XNOR 커널 최적화가 추론 속도와 메모리 소비에 어떤 영향을 미치는가?

주요 결과

• B-CEDNet은 단지 20만 장의 합성 훈련 이미지만을 사용하여 ICDAR-03 및 ICDAR-13 벤치마크 데이터셋에서 각각 90%와 91%의 픽셀 단위 정확도를 달성한다.
• TITAN X GPU에서 이미지당 추론 시간은 4.59ms이며, 전체 정밀도 버전 대비 8배 빠른 속도를 기록한다.
• 이진 가중치와 활성화 덕분에 메모리 사용량은 2.14MB로 감소하여 전체 정밀도 모델의 66.12MB 대비 96% 작아진다.
• XNOR 커널 최적화는 가장 계산이 많이 필요한 블록(블록-8)에서 가장 높은 속도 향상(17.7×)을 기록하여 계산 강도에 따라 확장 가능함을 입증한다.
• 주의도 맵은 정상적인 조명 및 대비 조건에서는 높은 신뢰도를 보이나, 불균형한 조명이나 저대비 영역에서는 낮은 신뢰도를 보이며, 증강된 훈련 데이터로 개선 여지가 있음을 시사한다.
• 모델의 성능은 표준 조건에서 뛰어나며, 도전적인 실제 환경 사례를 포함한 훈련 세트 확장으로 정확도를 추가로 향상시킬 수 있다.