[논문 리뷰] Text Extraction and Retrieval from Smartphone Screenshots: Building a Repository for Life in Media

Agnese Chiatti, Mu-Jung Cho외 8명|arXiv (Cornell University)|2018. 01. 04.

Web Data Mining and Analysis참고 문헌 13인용 수 3

한 줄 요약

이 논문은 스마트폰 스크린샷에서 텍스트를 추출하고 검색하기 위한 완전한 워크플로우를 제시한다. OpenCV를 활용한 이미지 전처리와 LSTM 향상된 Tesseract OCR를 사용하여 문자 수준 정확도 74%를 달성하였다. 이 시스템은 고유한 수직 검색 엔진을 통해 효율적인 인덱싱과 검색을 가능하게 하여 행동 및 건강 연구에 활용할 수 있는 확장 가능한 솔루션을 제공한다.

ABSTRACT

Daily engagement in life experiences is increasingly interwoven with mobile device use. Screen capture at the scale of seconds is being used in behavioral studies and to implement "just-in-time" health interventions. The increasing psychological breadth of digital information will continue to make the actual screens that people view a preferred if not required source of data about life experiences. Effective and efficient Information Extraction and Retrieval from digital screenshots is a crucial prerequisite to successful use of screen data. In this paper, we present the experimental workflow we exploited to: (i) pre-process a unique collection of screen captures, (ii) extract unstructured text embedded in the images, (iii) organize image text and metadata based on a structured schema, (iv) index the resulting document collection, and (v) allow for Image Retrieval through a dedicated vertical search engine application. The adopted procedure integrates different open source libraries for traditional image processing, Optical Character Recognition (OCR), and Image Retrieval. Our aim is to assess whether and how state-of-the-art methodologies can be applied to this novel data set. We show how combining OpenCV-based pre-processing modules with a Long short-term memory (LSTM) based release of Tesseract OCR, without ad hoc training, led to a 74% character-level accuracy of the extracted text. Further, we used the processed repository as baseline for a dedicated Image Retrieval system, for the immediate use and application for behavioral and prevention scientists. We discuss issues of Text Information Extraction and Retrieval that are particular to the screenshot image case and suggest important future work.

연구 동기 및 목표

• 스마트폰 스크린샷에서 비정형 텍스트를 추출하기 위한 확장 가능한 종단 간 워크플로우를 개발하는 것.
• 최신 OCR 및 이미지 처리 기법이 스마트폰 디바이스 스크린샷이라는 새로운 실세계 데이터셋에 대해 얼마나 효과적인지 평가하는 것.
• 추출된 텍스트와 메타데이터를 보완한 구조화된 검색 가능한 스크린샷 데이터 레포지터리 구축을 위한 목표.
• 혼합 폰트, 아이콘, 임bedded 그래픽 등 스크린샷 고유의 과제를 최적화된 전처리 및 OCR 워크플로우를 통해 해결하는 것.
• 행동 과학자와 공중보건 연구자들의 필요에 맞게 설계된 수직 검색 가능한 이미지 검색 시스템을 만드는 것.

제안 방법

• 텍스트 영역를 분리하고 이미지 품질을 향상시키기 위해 OpenCV 기반 모듈을 사용하여 스크린샷을 전처리하는 것.
• 개선된 문자 및 단어 인식을 위해 Tesseract OCR 4.0에 LSTM 기반 라인 인식 모델을 적용하는 것.
• 메타데이터(예: 타임스탬프, 기기 유형)를 구조화된 스키마에 통합하여 추출된 텍스트를 풍부하게 하는 것.
• 효율적인 텍스트 기반 이미지 검색을 위해 처리된 문서 컬렉션을 커스터마이징된 역인덱스로 인덱싱하는 것.
• 텍스트 기반 쿼리와 메타데이터 필터링을 지원하는 수직 검색 엔진 애플리케이션을 구축하는 것.
• 13,172장의 스크린샷으로 구성된 기준값(annotation)이 있는 데이터셋을 사용하여 문자 수준 및 단어 수준 정확도 지표로 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 최신 OCR 및 이미지 처리 기법은 다양한 레이아웃과 폰트를 가진 실세계 스마트폰 스크린샷에서 높은 정확도로 텍스트를 추출할 수 있는가?
• RQ2 Tesseract 4.0에 통합된 LSTM 기반 라인 인식 기능은 이전 버전 대비 스크린샷 데이터에서 OCR 성능을 어떻게 향상시키는가?
• RQ3 노이즈, 아이콘, 혼합 그래픽 콘텐츠가 존재하는 환경에서 이미지 전처리 단계가 OCR 정확도에 얼마나 기여하는가?
• RQ4 기준값 전사에서 발생하는 인간의 실수는 OCR 정확도 평가에 어떤 영향을 미치며, 이는 기술적 한계 대비 상대적으로 얼마나 큰가?
• RQ5 추출된 텍스트와 메타데이터를 기반으로 구축된 전용 이미지 검색 시스템은 디지털 라이프 경험에 대한 행동 과학 연구를 효과적으로 지원할 수 있는가?

주요 결과

• OpenCV 전처리와 LSTM 기반 Tesseract 4.0의 조합은 특별한 맞춤 학습 없이도 스마트폰 스크린샷에서 74%의 문자 수준 정확도를 달성하였다.
• Tesseract 4.0는 Tesseract 3.03보다 단어 및 문자 인식에서 뛰어난 성능을 보였으며, 처리 시간에 유의미한 차이가 없어 효율성과 정확도 향상이 동시에 이루어졌다.
• 기준값 데이터의 인간 전사 실수는 성능 저하에 상당한 기여를 하였고, 이는 기술적 개선 수준과 유사한 정도의 정확도 향상을 가져왔다.
• 이미지 전처리 과정은 노이즈를 크게 감소시키고 특히 아이콘과 혼합 배경이 있는 복잡한 레이아웃에서 텍스트 영역의 국소화를 향상시켰다.
• 검색 시스템은 빠른 텍스트 기반의 스크린샷 접근을 성공적으로 가능하게 하여 행동 및 공중보건 연구에 활용 가능성을 입증하였다.
• 향후 개선은 도메인 특화 폰트 및 사용자별 텍스트 패tern에 맞춘 OCR 모델의 파라미터 조정, 그리고 기준값 생성 과정에서의 인간 참여 감소에 초점을 맞춰야 한다.