[논문 리뷰] AdaDNNs: Adaptive Ensemble of Deep Neural Networks for Scene Text Recognition

Chun Yang, Xu-Cheng Yin외 5명|arXiv (Cornell University)|2017. 10. 10.

Handwritten Text Recognition Techniques참고 문헌 33인용 수 7

한 줄 요약

이 논문은 장면 텍스트 인식 성능을 향상시키기 위해 다양한 학습 반복 단계에서 유도된 딥 네ural 네트워크(DNN) 구성 요소를 선택하고 조합하는 적응형 앙상블 방법인 AdaDNNs를 제안한다. 분류기 가중치를 베이지안 프레임워크로 공식화함으로써 AdaDNNs는 추가 학습 비용 없이도 ICDAR 벤치마크에서 10퍼센트 이상의 상대적 성능 향상을 달성하며, 기준 DNN 및 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

Recognizing text in the wild is a really challenging task because of complex backgrounds, various illuminations and diverse distortions, even with deep neural networks (convolutional neural networks and recurrent neural networks). In the end-to-end training procedure for scene text recognition, the outputs of deep neural networks at different iterations are always demonstrated with diversity and complementarity for the target object (text). Here, a simple but effective deep learning method, an adaptive ensemble of deep neural networks (AdaDNNs), is proposed to simply select and adaptively combine classifier components at different iterations from the whole learning system. Furthermore, the ensemble is formulated as a Bayesian framework for classifier weighting and combination. A variety of experiments on several typical acknowledged benchmarks, i.e., ICDAR Robust Reading Competition (Challenge 1, 2 and 4) datasets, verify the surprised improvement from the baseline DNNs, and the effectiveness of AdaDNNs compared with the recent state-of-the-art methods.

연구 동기 및 목표

• 복잡한 배경, 조명 변화, 왜곡 등 다양한 조건에서 딥 네ural 네트워크를 활용한 장면 텍스트 인식의 과제를 해결하기 위해.
• SGD로 학습된 DNN들이 서로 다른 국소 최소점에 수렴하고 다양한 오류 패tern을 보일 수 있음을 고려하여, 이들의 다양성과 상호보완성을 활용하기 위해.
• 단일 학습 런 동안의 모델 스냅샷을 활용하여 추가 학습 없이도 성능을 향상시킬 수 있는 저비용이고 효과적인 앙상블 방법을 개발하기 위해.
• 최적의 분류기 가중치와 조합을 위한 앙상블 과정을 베이지안 프레임워크로 공식화하기 위해.

제안 방법

• 단일 DNN 학습 과정의 각 학습 반복 단계에서 생성된 모든 DNN 모델 스냅샷을 수집한다.
• 각 모델 스냅샷의 예측 신뢰도와 다양성을 바탕으로 최적의 가중치를 학습할 수 있도록 앙상블를 베이지안 프레임워크로 공식화한다.
• 선택된 모델 스냅샷의 출력을 가중 평균하여 최종 예측을 도출하며, 이 가중치는 베이지안 추론을 통해 학습된다.
• 정확도를 유지하면서도 추론 비용을 줄이기 위해 가장 효과적인 스냅샷만 선택하는 프루닝 전략을 적용한다.
• 표준 SGD를 사용하여 학습되며, 특수 최적화 알고리즘이나 추가 학습이 필요하지 않다.
• 학습된 방법은 ICDAR Robust Reading Competition 데이터셋(도전 과제 1, 2, 4)을 대상으로 캐피처드 워드 및 보른-디지털 텍스트 인식에 대해 평가된다.

실험 결과

연구 질문

• RQ1 단일 DNN의 다양한 학습 반복 단계에서 생성된 모델 스냅샷을 효과적으로 조합하여 장면 텍스트 인식 성능을 향상시킬 수 있는가?
• RQ2 모델 스냅샷의 가중치와 조합을 위한 베이지안 프레임워크는 단순 평균화나 투표 방식보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ3 이러한 적응형 앙상블이 추가 학습이나 복잡한 아키텍처 설계 없이도 최신 기술(SOTA) 수준의 성능을 달성할 수 있는가?
• RQ4 최신 기술(SOTA) 방법들과 비교했을 때 AdaDNNs의 성능은 표준 장면 텍스트 인식 벤치마크에서 어떻게 나타나는가?

주요 결과

• ICDAR 2013 도전 과제 2 데이터셋에서 AdaDNNs는 기준 DNN의 C.R.W (상한) 점수 78.63%를 86.67%로 향상시켜 10퍼센트 이상의 상대적 향상을 달성했다.
• ICDAR 도전 과제 1(보른-디지털 이미지)에서 AdaDNNs는 기준 점수 84.50%에서 92.22%로 상승하여 최근 제출된 결과들을 모두 능가했다.
• AdaDNNs 프루닝 버전은 도전 과제 2에서 C.R.W (상한) 88.13%를 기록하여 여러 발표된 SOTA 방법들을 뛰어넘었다.
• 도전 과제 4에서 학습된 경우에도 AdaDNNs는 도전 과제 2에서 경쟁력 있는 성능을 기록하여 다양한 데이터셋 간의 강력한 일반화 능력을 보였다.
• ICDAR RRC 웹사이트에 최신 제출 결과들과 비교했을 때, AdaDNNs는 Dahua_OCR_v1 및 Tencent Youtu와 같은 모델들과 비교해 최상의 성능을 기록했다.
• 결과적으로 SGD로 학습된 DNN의 다양성을 적응형 앙상블을 통해 효과적으로 활용할 수 있음을 입증하였으며, 이는 강력하고 정확한 장면 텍스트 인식을 가능하게 한다.