[논문 리뷰] All You Need Is Boundary: Toward Arbitrary-Shaped Text Spotting

Hao Wang, Pu Lu외 7명|arXiv (Cornell University)|2019. 11. 21.

Handwritten Text Recognition Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 직사각형 바운딩 박스나 세그멘테이션 마스크가 아닌 경계점의 집합으로 임의의 형태를 띤 텍스트를 표현하는 새로운 엔드 투 엔드 텍스트 스포팅 프레임워크를 제안한다. 경계점 예측을 위한 조건부로 직선 방향의 직사각형 제안을 사용한 코arse-to-fine 검출 파이프라인과 이를 바탕으로 가능한 경계점 회귀 및 정규화를 통해, 문자 수준의 애너테이션 없이도 ICDAR2015, TotalText, COCO-Text에서 최고 성능을 달성한다.

ABSTRACT

Recently, end-to-end text spotting that aims to detect and recognize text from cluttered images simultaneously has received particularly growing interest in computer vision. Different from the existing approaches that formulate text detection as bounding box extraction or instance segmentation, we localize a set of points on the boundary of each text instance. With the representation of such boundary points, we establish a simple yet effective scheme for end-to-end text spotting, which can read the text of arbitrary shapes. Experiments on three challenging datasets, including ICDAR2015, TotalText and COCO-Text demonstrate that the proposed method consistently surpasses the state-of-the-art in both scene text detection and end-to-end text recognition tasks.

연구 동기 및 목표

• 비정상적인 형태의 텍스트, 특히 곡선이나 기울어진 텍스트를 표현하는 데에 직사각형 바운딩 박스의 한계를 해결하기 위해.
• 엔드 투 엔드 텍스트 스포팅에서 비용이 많이 드는 문자 수준의 애너테이션 필요성을 제거하기 위해.
• 다양이 가능한 경계점 회귀를 통해 정확한 텍스트 경계 지역화를 통해 특징 추출 및 인식 정확도를 향상시키기 위해.
• 통합적이고 가능한 파이프라인을 통해 검출과 인식 간 효과적인 공동 최적화를 가능하게 하기 위해.

제안 방법

• 이 방법은 텍스트 인스턴스에 대해 방향이 있는 직사각형 상자를 먼저 예측하는 이중 단계 검출기 사용.
• 각 방향성 RoI 내 특징에서 전용 경계점 검출 네트워크를 통해 경계점 회귀.
• 비가역적 변환을 통해 비정규적인 경계점들을 수평 영역으로 정규화하여 시퀀스 인식 수행.
• 임의의 RoIAlign 레이어는 예측된 경계점에 기반해 특징을 정렬하여 정밀한 특징 추출을 가능하게 함.
• 전체 파이프라인이 엔드 투 엔드로 훈련 가능하여 역전파를 통해 검출과 인식을 공동 최적화할 수 있음.
• 코어스 투 파인 전략은 방향성 박스를 경계점 예측의 안정적인 초기화로 사용하여 강건성을 향상시킴.

실험 결과

연구 질문

• RQ1 경계점 표현 방식이 직사각형 바운딩 박스보다 임의의 형태를 띤 텍스트 검출 및 인식에서 더 우수한 성능을 내는가?
• RQ2 기존 RoI 정렬 방식과 비교해 경계점 기반 특징 정렬은 인식 성능 향상에 어떻게 기여하는가?
• RQ3 문자 수준의 애너테이션 없이도 이 방법이 최고 성능을 달성할 수 있는가?
• RQ4 방향성 직사각형 제안이 경계점 검출 정확도에 상당한 영향을 미치는가?
• RQ5 이 방법은 곡선, 기울어진, 수평 텍스트를 포함한 다양한 벤치마크에 대해 얼마나 일반화 가능한가?

주요 결과

• ICDAR2015에서 검출 성능은 F-스코어 89.8%를 기록했고, 엔드 투 엔드 스포팅 성능은 88.6%를 달성하여 이전 최고 성능을 초월함.
• TotalText에서 검출 F-스코어는 88.9%, 엔드 투 엔드 F-스코어는 87.0%를 기록하여 곡선 텍스트에 대해 강력한 성능을 보임.
• COCO-Text에서 검출(85.8% F-스코어)과 엔드 투 엔드 작업(65.0% F-스코어) 모두 최고 성능 달성했으며, COCO-Text 훈련 데이터를 사용하지 않음.
• 방향성 직사각형 제안을 사용함으로써 TotalText에서 검출 및 엔드 투 엔드 성능이 축축한 축소된 제안 대비 각각 1.2% 향상되었고, ICDAR2015에서는 0.8% 향상됨.
• 제거 분석 결과 경계점 표현 방식이 더 정확한 특징 추출과 더 나은 인식 성능을 가능하게 하며, 특히 비정상적인 텍스트에서 유의미한 향상이 있음.
• 이 방법은 새로운 데이터셋에 대해 잘 일반화되며, 수직, 곡선, 긴 텍스트 인스턴스를 안정적으로 처리하지만, 희귀 폰트, 매우 작은 텍스트 또는 흐린 텍스트에서는 어려움을 겪음.