[논문 리뷰] Guided Attention for Large Scale Scene Text Verification

Dafang He, Yeqing Li외 6명|arXiv (Cornell University)|2018. 04. 23.

Handwritten Text Recognition Techniques참고 문헌 22인용 수 2

한 줄 요약

이 논문은 경계 상자 레이블이나 명시적 텍스트 검출 및 인식을 요구하지 않고, 주어진 텍스트 문자열이 영상에 존재하는지 검증할 수 있는 엔드 투 엔드 프레임워크인 Guided Attention을 제안한다. 이는 대규모이고 도전적인 Street View 비즈니스 매칭 작업에서 최신 기술 수준의 성능을 달성하며, 기존의 장면 텍스트 읽기 기반 방법들보다 뛰어난 결과를 보여준다.

ABSTRACT

Many tasks are related to determining if a particular text string exists in an image. In this work, we propose a new framework that learns this task in an end-to-end way. The framework takes an image and a text string as input and then outputs the probability of the text string being present in the image. This is the first end-to-end framework that learns such relationships between text and images in scene text area. The framework does not require explicit scene text detection or recognition and thus no bounding box annotations are needed for it. It is also the first work in scene text area that tackles suh a weakly labeled problem. Based on this framework, we developed a model called Guided Attention. Our designed model achieves much better results than several state-of-the-art scene text reading based solutions for a challenging Street View Business Matching task. The task tries to find correct business names for storefront images and the dataset we collected for it is substantially larger, and more challenging than existing scene text dataset. This new real-world task provides a new perspective for studying scene text related problems. We also demonstrate the uniqueness of our task via a comparison between our problem and a typical Visual Question Answering problem.

연구 동기 및 목표

• 장면 텍스트 검출 또는 인식에 의존하지 않고 장면 이미지 내 텍스트 존재 여부를 검증할 수 있는 엔드 투 엔드 프레임워크를 개발하는 것.
• 경계 상자 레이블이 필요한 것을 피함으로써 장면 텍스트 검증의 약한 레이블링 성격을 해결하는 것.
• 실제 도메인의 장면 텍스트 검증을 위해 특화된 대규모이고 도전적인 데이터셋을 구축하는 것.
• 기존의 표준 시각적 질의 응답 문제와 비교했을 때 이 검증 작업의 고유성을 입증하는 것.

제안 방법

• 프레임워크는 이미지와 텍스트 문자열을 입력으로 받아, 해당 텍스트가 이미지에 존재할 확률을 직접 출력한다.
• 입력 텍스트에 대응하는 관련된 이미지 영역에 집중할 수 있도록 가이드된 어텐션 메커니즘을 적용하여 텍스트와 시각적 특징 간의 정렬을 향상시킨다.
• 오직 이미지-텍스트 쌍만 필요로 하는 약한 지도 학습을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 명시적인 장면 텍스트 검출 및 인식을 회피함으로써 고비용 레이블링에 대한 의존도를 줄인다.
• 이 작업을 뒷받침하기 위해 새로운 데이터셋을 수집하였으며, 이는 기존의 장면 텍스트 데이터셋보다 더 도전적이고 다양한 상점 간판 이미지를 포함하고 있다.

실험 결과

연구 질문

• RQ1 경계 상자 레이블이나 명시적 텍스트 검출이 없는 엔드 투 엔드 모델이 장면 이미지 내 텍스트 존재 여부를 검증할 수 있는가?
• RQ2 제안된 프레임워크는 실제 비즈니스 매칭 작업에서 최신 기술 수준의 장면 텍스트 읽기 기반 방법들과 비교해 어떤 성능을 보이는가?
• RQ3 약한 지도 학습과 엔드 투 엔드 훈련이 장면 텍스트 검증 정확도에 어떤 영향을 미치는가?
• RQ4 표준 시각적 질의 응답 문제와 비교했을 때 제안된 검증 작업은 작업 정의 및 요구사항 측면에서 어떻게 다를까?

주요 결과

• Guided Attention 모델은 도전적인 Street View 비즈니스 매칭 작업에서 몇 가지 최신 기술 수준의 장면 텍스트 읽기 기반 솔루션을 압도적으로 앞서간다.
• 제안된 프레임워크는 경계 상자 레이블이 없이도 뛰어난 성능을 달성하며, 약한 지도 학습의 효과성을 입증한다.
• 이 작업을 위한 수집된 데이터셋은 기존의 장면 텍스트 데이터셋보다 훨씬 크고 더 도전적이다.
• 이 프레임워크의 성능는 검증 작업이 시각적 질의 응답과 비교해 고유한 특성을 지닌다는 점을 강조한다. 이는 개방형 추론이 아닌 정확한 텍스트 매칭에 초점을 맞추기 때문이다.