[論文レビュー] Text Extraction and Retrieval from Smartphone Screenshots: Building a Repository for Life in Media

Agnese Chiatti, Mu-Jung Cho+8 more|arXiv (Cornell University)|Jan 4, 2018

Web Data Mining and Analysis参考文献 13被引用数 3

ひとこと要約

本論文では、OpenCVを用いた画像前処理とLSTM強化Tesseract OCRを用いてスマートフォンのスクリーンショットからテキストを抽出・検索する包括的なワークフローを提示している。74%の文字単位の正確性を達成した。このシステムにより、カスタム垂直検索エンジンを介して効率的なインデクシングと検索が可能となり、ライフインメディアデータを用いた行動および健康研究のスケーラブルなソリューションを提供する。

ABSTRACT

Daily engagement in life experiences is increasingly interwoven with mobile device use. Screen capture at the scale of seconds is being used in behavioral studies and to implement "just-in-time" health interventions. The increasing psychological breadth of digital information will continue to make the actual screens that people view a preferred if not required source of data about life experiences. Effective and efficient Information Extraction and Retrieval from digital screenshots is a crucial prerequisite to successful use of screen data. In this paper, we present the experimental workflow we exploited to: (i) pre-process a unique collection of screen captures, (ii) extract unstructured text embedded in the images, (iii) organize image text and metadata based on a structured schema, (iv) index the resulting document collection, and (v) allow for Image Retrieval through a dedicated vertical search engine application. The adopted procedure integrates different open source libraries for traditional image processing, Optical Character Recognition (OCR), and Image Retrieval. Our aim is to assess whether and how state-of-the-art methodologies can be applied to this novel data set. We show how combining OpenCV-based pre-processing modules with a Long short-term memory (LSTM) based release of Tesseract OCR, without ad hoc training, led to a 74% character-level accuracy of the extracted text. Further, we used the processed repository as baseline for a dedicated Image Retrieval system, for the immediate use and application for behavioral and prevention scientists. We discuss issues of Text Information Extraction and Retrieval that are particular to the screenshot image case and suggest important future work.

研究の動機と目的

• 行動および健康研究を目的とした、スマートフォンのスクリーンショットから非構造的テキストを抽出するスケーラブルでエンドツーエンドのパイプラインを開発すること。
• 最新のOCRおよび画像処理技術が、モバイルデバイスのスクリーンショットという新しい実世界のデータセットに対して、どの程度効果的であるかを評価すること。
• 抽出されたテキストとメタデータを統合した構造的で検索可能なスクリーンショットデータのリポジトリを構築し、縦断的行動分析を可能にすること。
• フォントの混合、アイコン、埋め込みグラフィックなど、スクリーンショットに固有の課題に対して、最適化された前処理およびOCRワークフローを用いて対処すること。
• 行動科学者および公衆衛生研究者に特化した、垂直検索可能な画像検索システムを構築すること。

提案手法

• 画像品質の向上とテキスト領域の分離を目的とした、OpenCVベースのモジュールを用いたスクリーンショットの前処理。
• LSTMベースのライン認識モデルを搭載したTesseract OCR 4.0を適用し、文字および単語認識の精度を向上させること。
• メタデータ（例：タイムスタンプ、デバイスタイプ）を構造的スキーマに統合し、抽出されたテキストを拡張すること。
• 効率的なテキストベースの画像検索を実現するため、カスタムインverted indexを用いて処理済みドキュメントコレクションをインデクシングすること。
• テキストによるクエリとメタデータのフィルタリングをサポートする垂直検索エンジンアプリケーションを構築すること。
• 13,172枚のスクリーンショットからなるグランドトゥースアノテートデータセットを用いて、文字単位および単語単位の正確性指標で性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 最新のOCRおよび画像処理技術は、多様なレイアウトとフォントを有する実世界のスマートフォンスクリーンショットから、高い正確性でテキストを抽出できるか？
• RQ2 Tesseract 4.0に組み込まれたLSTMベースのライン認識が、スクリーンショットデータに対して、従来のバージョンと比較してOCR性能をどの程度向上させるか？
• RQ3 ノイズ、アイコン、混合グラフィカルコンテンツが存在する状況下で、画像前処理ステップがOCR正確性にどの程度寄与するか？
• RQ4 グランドトゥーストランスクリプションにおける人為的誤りは、OCR正確性の評価にどのような影響を及ぼし、技術的制限と比較して相対的にどの程度の影響を及えるか？
• RQ5 抽出されたテキストとメタデータに基づいて構築された専用の画像検索システムは、デジタルライフ体験に関する行動科学研究を効果的に支援できるか？

主な発見

• OpenCVによる前処理とLSTMベースのTesseract 4.0の組み合わせにより、特別なトレーニングを施さずに74%の文字単位の正確性を達成した。
• Tesseract 4.0はTesseract 3.03よりも単語および文字認識で優れており、処理時間に顕著な差がなかったため、効率性と正確性の両方が向上した。
• グランドトゥースデータ内の人為的トランスクリプション誤りが性能劣化に大きく寄与しており、誤り訂正により技術的改善と同程度の正確性向上が達成された。
• 画像前処理によりノイズが顕著に低減し、特にアイコンや混合背景を含む複雑なレイアウトにおいてテキスト領域の局所化が向上した。
• 検索システムにより、迅速かつテキストベースのスクリーンショットへのアクセスが可能となり、行動および公衆衛生研究への適用可能性が実証された。
• 今後の改善は、分野特化フォントやユーザー特有のテキストパターンに合わせたOCRモデルのファインチューニング、およびグランドトゥース作成における人為的関与の低減に注力すべきである。