[논문 리뷰] Supervised mid-level features for word image representation

Albert Gordo|arXiv (Cornell University)|2014. 10. 20.

Handwritten Text Recognition Techniques참고 문헌 28인용 수 11

한 줄 요약

이 논문은 학습 중에 문자 경계 상자(annotation) 정보를 활용하여 문자와 관련된 국소적 특징을 학습함으로써, 압축되고 강건한 단어 이미지 표현을 위한 지도 학습 기반 중위수 특징을 제안한다. 기존 방법과 달리, 테스트 시에 명시적인 문자 국지화를 필요로 하지 않으며, 약 5,000개의 레이블링된 훈련 단어와 96차원의 서명을 사용하여 단어 검색 및 인식에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper addresses the problem of learning word image representations: given the cropped image of a word, we are interested in finding a descriptive, robust, and compact fixed-length representation. Machine learning techniques can then be supplied with these representations to produce models useful for word retrieval or recognition tasks. Although many works have focused on the machine learning aspect once a global representation has been produced, little work has been devoted to the construction of those base image representations: most works use standard coding and aggregation techniques directly on top of standard computer vision features such as SIFT or HOG. We propose to learn local mid-level features suitable for building word image representations. These features are learnt by leveraging character bounding box annotations on a small set of training images. However, contrary to other approaches that use character bounding box information, our approach does not rely on detecting the individual characters explicitly at testing time. Our local mid-level features can then be aggregated to produce a global word image signature. When pairing these features with the recent word attributes framework of Almazán et al., we obtain results comparable with or better than the state-of-the-art on matching and recognition tasks using global descriptors of only 96 dimensions.

연구 동기 및 목표

• 단어 이미지에 대해 압축되고 고정 길이의 전역 표현을 개발하여 강건하고 기술적인 특성을 갖도록 하는 것.
• 훈련 중에 제한된 수준의 문자 레이블링 정보를 활용하여 중위수 특징을 학습함으로써 단어 이미지 표현을 향상시키는 것.
• 성능 향상 요소인 레이블링된 문자 데이터를 유지하면서도 테스트 시에 명시적인 문자 국지화가 필요 없도록 하는 것.
• 최소한의 훈련 데이터와 저차원 서명을 사용하여 단어 검색 및 인식에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 소수의 문자 레이블링 훈련 이미지를 사용하여 국소 SIFT 특징을 문자 영역과 관련된 특징 공간으로 투영함으로써 중위수 특징을 학습하는 방식.
• CCA를 통해 유도된 선형 투영 행렬 U를 사용하여 피셔 벡터(FV)로 인코딩된 국소 특징을 중위수 기반 기술자로 변환하는 방식.
• 중복되지 않으며 고정된 크기의 블록(p×p 픽셀)으로 이미지를 격자 구조로 나누고, 공간 피라미드나 ℓ₂ 정규화 없이 각 블록에 대해 FV를 계산하는 방식.
• 임의의 블록에 대해 중위수 기술자를 효율적으로 계산할 수 있도록 적분 이미지 표현을 적용하는 방식.
• 적분 표현을 기반으로 블록 내 여러 공간 영역의 중위수 기술자를 합산 연산을 통해 집계한 후, ℓ₂ 정규화를 수행하는 방식.
• 2×2 영역으로 구성된 공간 피라미드를 사용하고, 재형성된 투영 행렬 U^를 통해 FV를 투영하여 공간 수준 간의 덧셈 집계를 가능하게 하는 방식.

실험 결과

연구 질문

• RQ1 문자 수준의 레이블링 정보로부터 학습된 중위수 특징은 테스트 시 문자 국지화가 필요 없이도 전역 단어 이미지 표현을 향상시킬 수 있는가?
• RQ2 훈련 중에 제한된 수의 문자 경계 상자 레이블링 정보를 활용할 경우, 압축된 단어 이미지 서명의 성능에 어떤 영향을 미치는가?
• RQ3 중위수 특징은 직접 SIFT 기반 표현보다 단어 이미지 검색 및 인식 작업에서 더 우수한 성능을 낼 수 있는가?
• RQ4 예를 들어 5,000개 미만의 레이블링된 훈련 단어만으로도, 수백만 개의 레이블링된 단어로 훈련된 최신 기술 수준의 방법과 유사한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 96차원의 전역 서명만을 사용하여도 기존의 유사 차원 수준의 방법들보다 우수한 성능을 보이며, 단어 이미지 검색에서 최신 기술 수준의 성능을 달성한다.
• 문자 속성 프레임워크 [4]와 조합했을 때, 직접 SIFT 기반 표현보다 유의미하게 성능 향상을 보이며, 중위수 특징 학습의 유용성을 입증한다.
• 약 5,000개의 문자 레이블링 훈련 단어만으로도, 수백만 개의 레이블링된 단어로 훈련된 Google의 PhotoOCR와 유사한 인식 성능을 달성한다.
• 적분 이미지 표현과 덧셈 집계 덕분에, 단일 코어로도 이미지 내 모든 블록에 대한 기술자 추출 및 기술자 생성을 1초 이내에 수행할 수 있어 효율적인 계산이 가능하다.
• 선형 투영과 투영 이후 ℓ₂ 정규화를 적용한 피셔 벡터 인코딩은 덧셈 성질을 유지하므로, 효율적인 블록 수준 기술자 계산을 가능하게 한다.