[논문 리뷰] Expolring Architectures for CNN-Based Word Spotting.

Eugen Rusakov, Sebastian Sudholt외 2명|arXiv (Cornell University)|2018. 06. 28.

Handwritten Text Recognition Techniques참고 문헌 23인용 수 3

한 줄 요약

이 논문은 IAM 및 조지 워싱턴 데이터베이스에서 TPP-HOCNet을 ResNet, DenseNet, LeNet과 비교하여 컨볼루션 네트워크 아키텍처의 깊이가 단어 스트링 성능에 미치는 영향을 평가한다. 결과적으로 더 깊은 모델은 어려운 작업인 IAM에서는 성능을 향상시키지만, 더 쉬운 벤치마크인 조지 워싱턴에서는 유의미한 이점이 없으며, 이는 간단한 작업에 대해서는 복잡도 증가에 비해 성능이 점점 더 이상 향상되지 않는다는 것을 시사한다.

ABSTRACT

The goal in word spotting is to retrieve parts of document images which are relevant with respect to a certain user-defined query. The recent past has seen attribute-based Convolutional Neural Networks take over this field of research. As is common for other fields of computer vision, the CNNs used for this task are already considerably deep. The question that arises, however, is: How complex does a CNN have to be for word spotting? Are increasingly deeper models giving increasingly bet- ter results or does performance behave asymptotically for these architectures? On the other hand, can similar results be obtained with a much smaller CNN? The goal of this paper is to give an answer to these questions. Therefore, the recently successful TPP- PHOCNet will be compared to a Residual Network, a Densely Connected Convolutional Network and a LeNet architecture empirically. As will be seen in the evaluation, a complex model can be beneficial for word spotting on harder tasks such as the IAM Offline Database but gives no advantage for easier benchmarks such as the George Washington Database.

연구 동기 및 목표

• 증가하는 깊이를 가진 CNN 아키텍처가 단어 스트링 성능을 향상시키는지 조사하는 것.
• 더 단순하고 작은 CNN 아키텍처가 복잡한 모델과 유사한 성능을 달성할 수 있는지 확인하는 것.
• 다양한 단어 스트링 벤치마크에서 모델 복잡도와 성능 간의 상호 교환 관계를 평가하는 것.
• 최근의 TPP-HOCNet과 비교하여 최신 기술 아키텍처인 ResNet, DenseNet, LeNet의 효과성을 비교하는 것.
• 단어 스트링 작업에서 깊이 증가에 따라 성능 향상이 정체되는 지점이 있는지 확인하는 것.

제안 방법

• 이 연구는 단어 스트링을 위해 네 가지 CNN 아키텍처를 사용한다: TPP-HOCNet, ResNet, DenseNet, LeNet.
• 각 모델은 두 가지 기준 데이터셋인 IAM 오프라인 데이터베이스와 조지 워싱턴 데이터베이스에서 훈련 및 평가된다.
• 단어 스트링 성능은 평균 평균 정확도(mAP)와 같은 표준 검색 메트릭을 사용하여 측정된다.
• 비교 분석은 아키텍처의 깊이와 연결 패턴이 검색 정확도에 미치는 영향에 집중된다.
• 다양한 난이도 수준의 문서 이미지 데이터셋에 대한 경험적 평가가 수행된다.
• 모델의 깊이와 구조 기여도를 평가하기 위해 아블레이션 유사 비교 분석이 포함된다.

실험 결과

연구 질문

• RQ1 모든 데이터셋에서 CNN의 깊이를 증가시키면 단어 스트링 성능이 일관되게 향상되는가?
• RQ2 더 작고 浅은 CNN 아키텍처가 더 깊은 아키텍처와 유사한 성능을 달성할 수 있는가?
• RQ3 더 깊은 모델의 성능 향상이 단어 스트링 작업에서 정점에 도달하는가?
• RQ4 다른 아키텍처 설계(예: 잔여, 밀집, 일반형)는 단어 스트링 벤치마크에서 어떻게 비교되는가?
• RQ5 더 쉬운 vs 더 어려운 단어 스트링 데이터셋에서 모델 복잡도가 유의미한 이점을 제공하는가?

주요 결과

• IAM 오프라인 데이터베이스에서는 TPP-HOCNet과 같은 복잡한 모델이 단순한 아키텍처보다 성능상의 이점을 가진다.
• 조지 워싱턴 데이터베이스에서는 ResNet과 DenseNet과 같은 더 깊은 모델이 LeNet과 같은 단순한 모델보다 성능이 떨어지지 않는다.
• 더 쉬운 벤치마크에서는 모델 깊이 증가에 따른 성능 향상이 정체되며, 이는 점 渐차 수렴하는 행동을 나타낸다.
• 연구 결과, 아키텍처의 복잡도는 높은 변동성을 가진 어려운 단어 스트링 작업에만 유용하다는 것이 밝혀졌다.
• LeNet과 같은 작은 네트워크는 더 단순한 데이터셋에서 경쟁 가능한 성능을 달성하며, 이는 더 깊은 모델이 항상 필요한 것은 아님을 시사한다.
• 결과적으로, 모델 선택은 깊이 그 자체가 아닌 데이터셋의 난이도에 따라 이뤄져야 한다는 것이 제안된다.