[논문 리뷰] TextCohesion: Detecting Text for Arbitrary Shapes

Weijia Wu, Jici Xing외 1명|arXiv (Cornell University)|2019. 04. 22.

Handwritten Text Recognition Techniques참고 문헌 44인용 수 5

한 줄 요약

TextCohesion는 텍스트 인스턴스를 텍스트 스켈레톤(Text Skeleton)과 네 방향성 픽셀 영역(Directional Pixel Regions, DPRs)으로 분해하는 새로운 픽셀 수준의 텍스트 검출 방법을 제안한다. 이는 임의의 형태를 띤 텍스트에 대한 강력한 검출을 가능하게 한다. 민감도 평가 기반의 신뢰도 점수 메커니즘을 활용해 임의의 오진을 걸러내어, Total-Text에서 84.6%의 최고 성능 F-측정치를 기록하고, SCUT-CTW1500에서는 86.3%를 달성하여 곡선 및 복잡한 텍스트 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

In this paper, we propose a pixel-wise method named TextCohesion for scene text detection, which splits a text instance into five key components: a Text Skeleton and four Directional Pixel Regions. These components are easier to handle than the entire text instance. A confidence scoring mechanism is designed to filter characters that are similar to text. Our method can integrate text contexts intensively when backgrounds are complex. Experiments on two curved challenging benchmarks demonstrate that TextCohesion outperforms state-of-the-art methods, achieving the F-measure of 84.6% on Total-Text and bfseries86.3% on SCUT-CTW1500.

연구 동기 및 목표

• 복잡한 배경에서 곡선 및 다중 방향성 텍스트 인스턴스를 포함한 임의의 형태의 텍스트 검출 문제를 해결하기 위해.
• 문자나 기호가 텍스트처럼 보이는 경우 발생하는 오진 검출을 막기 위해 맥락 정보를 통합함으로써 문제를 해결하기 위해.
• 표준 경계 상자에 맞지 않는 비정규적인 형태의 텍스트 인스턴스에 대해 경계 정밀도를 향상시키기 위해.
• 복잡한 환경에서도 강건성을 확보하고 다양한 텍스트 레이아웃에서 높은 정밀도와 재현율을 유지할 수 있는 방법을 개발하기 위해.
• 비텍스트 유사 패턴을 걸러내기 위해 비텍스트 유사 패턴을 걸러내기 위한 신뢰도 점수 기반 메커니즘을 도입하기 위해.

제안 방법

• TextCohesion는 각 텍스트 인스턴스를 텍스트 스켈레톤(TS)과 네 방향성 픽셀 영역(DPRs)의 조합으로 모델링하며, 이는 네 방향에서의 중심 경로 및 가장자리 보정을 나타낸다.
• 텍스트 스켈레톤은 검출을 초기화하는 데 사용되며, DPRs를 따라 외부로 픽셀이 전파되어 전체 텍스트 영역을 복원한다.
• 각 픽셀은 다수의 DPR에 속할 수 있어 다중 복원 경로를 제공하고, 부분적 또는 노이즈가 있는 가장자리에 대한 강건성을 향상시킨다.
• 신뢰도 점수 기반 메커니즘이 텍스트 스켈레톤 내 픽셀의 평균 신뢰도 점수를 계산하며, 임계값(예: 0.5)을 초과하는 경우에만 유효한 후보로 간주한다.
• 모델는 SynthText에서 학습된 딥 러닝 기반 네트워크를 사용하며, 벤치마크 데이터셋에서 미세조정을 수행하고, 다양한 데이터셋에 맞게 적응형 임계값을 적용한다.
• 옵티마이저로 Adam을 사용하고 학습률 감소 기법을 적용하며, 추론은 배치 크기가 4인 단일 GPU에서 수행된다.

실험 결과

연구 질문

• RQ1 텍스트를 중심 스켈레톤과 방향성 가장자리 영역으로 분해하는 방식이 곡선 및 비정규적인 형태의 텍스트 검출 성능 향상에 기여하는가?
• RQ2 신뢰도 점수 기반 메커니즘이 텍스트 유사 기호나 문자로 인한 오진을 효과적으로 걸러내는가?
• RQ3 방향성 영역에서의 다중 경로 전파가 복잡한 배경에서 경계 복원 및 검출 정확도 향상에 기여하는가?
• RQ4 제안된 방법이 고정된 모양의 경계 상자에 의존하지 않고 다양한 텍스트 형태와 방향성에 일반화 가능한가?
• RQ5 맥락 정보 통합이 곤경스러운 검출 환경에서 정밀도 향상에 얼마나 기여하는가?

주요 결과

• TextCohesion는 Total-Text 벤치마크에서 84.6%의 F-측정치를 기록하여 이전 최고 성능 기준을 모두 초월한다.
• SCUT-CTW1500 벤치마크에서는 86.3%의 F-측정치를 기록하여 새로운 최고 성능을 달성한다.
• 신뢰도 점수 기반 메커니즘은 SCUT-CTW1500에서 정밀도를 82.3%에서 88.0%로 향상시켜 오진 감소에 효과적임을 입증한다.
• EAST 및 TextBox++와 같은 회귀 기반 모델에 비해 곡선 텍스트에서 뛰어난 성능을 보이며, 비직사각형 형태에 어려움을 겪는다.
• 다양한 방향성 영역의 사용은 특히 인접하거나 겹치는 가장자리가 있는 경우 경계 복원 능력을 향상시킨다.
• 제거 분석 결과, 신뢰도 점수 기반 메커니즘이 특히 혼잡한 환경에서 검출 신뢰도를 크게 향상시킴을 확인한다.