[論文レビュー] Recovering Homography from Camera Captured Documents using Convolutional Neural Networks

Syed Ammar Abbas, Sibt ul Hussain|arXiv (Cornell University)|Sep 11, 2017

Handwritten Text Recognition Techniques被引用数 6

ひとこと要約

本稿では、カメラで撮影されたドキュメント画像からホモトピーを自動的に回復するためのディーブラーニング手法を提案する。畳み込みニューラルネットワーク（CNN）を用い、手動入力を不要にした透視補正を実現する。大規模な合成データセット上でエンドツーエンドに訓練された本手法は、L1損失を用いて4つのコーナー点を回帰し、実世界のテスト画像において平均距離誤差（MDE）2.56ピクセルの最先端性能を達成し、CamScanner や ABBYY-Reader などの商業ツールを上回っている。

ABSTRACT

Removing perspective distortion from hand held camera captured document images is one of the primitive tasks in document analysis, but unfortunately, no such method exists that can reliably remove the perspective distortion from document images automatically. In this paper, we propose a convolutional neural network based method for recovering homography from hand-held camera captured documents. Our proposed method works independent of document's underlying content and is trained end-to-end in a fully automatic way. Specifically, this paper makes following three contributions: Firstly, we introduce a large scale synthetic dataset for recovering homography from documents images captured under different geometric and photometric transformations; secondly, we show that a generic convolutional neural network based architecture can be successfully used for regressing the corners positions of documents captured under wild settings; thirdly, we show that L1 loss can be reliably used for corners regression. Our proposed method gives state-of-the-art performance on the tested datasets, and has potential to become an integral part of document analysis pipeline.

研究の動機と目的

• 手動入力が不要な信頼性の高い完全自動的な手持ちカメラによるドキュメント画像の透視補正手法の不足を解消すること。
• マージンや平行線などのドキュメントの内容、レイアウト、テキスト構造に依存しない手法の開発。
• 幾何的・光沢的歪みの多様な組み合わせを捉えた大規模な合成データセットの構築により、頑健なホモトピー推定のための訓練を可能にすること。
• L1損失と4点パラメータ化によるコーナー回帰の有効性を、実世界の設定において評価すること。
• 困難な実世界の条件下でも、既存の商業的および学術的手法を上回る精度と頑健性を実現すること。

提案手法

• 本手法は、1枚の入力画像からドキュメントの4コーナー点を回帰するためのカスタム畳み込みニューラルネットワークアーキテクチャをエンドツーエンドで訓練する。
• 幾何的および光沢的変換（回転、スケーリング、照明変化、背景のごみなど）を模擬した大規模な合成データセットを導入する。
• ホモトピーを3×3行列ではなく4コーナー点でパラメータ化することで、より安定した訓練プロセスと優れた性能が得られる。
• 予測値と正例のコーナー位置のユークリッド距離を最小化するために、L1損失を用いてネットワークを訓練する。
• 実世界のテスト画像に対してモデルを評価し、CamScanner や ABBYY-Reader などの商業ツールと、定性的および定量的指標を用いて比較する。
• 本手法は効率的であり、Tesla K40 GPU上で1回の順伝播にたった0.04秒で処理が可能である。

実験結果

リサーチクエスチョン

• RQ1 手作業による特徴抽出に依存せずに、1枚のカメラ撮影ドキュメント画像からホモトピーを推定できる深層CNNを効果的に訓練できるか？
• RQ2 ホモトピー推定タスクにおいて、コーナー回帰にL1損失を使用すると、L2損失に比べてより優れた性能が得られるか？
• RQ3 実世界の歪みの真の分布を捉えた合成データセットが、ホモトピー回復で最先端の性能を達成できるか？
• RQ4 CamScanner や ABBYY-Reader などの商業アプリケーションと比較して、本手法は困難な条件下でも精度と頑健性に優れているか？
• RQ5 従来の3×3行列表現と比較して、4点パラメータ化によるホモトピー表現は、より安定的かつ正確な結果をもたらすか？

主な発見

• 手動アノテーションが施された400枚のテストセットにおいて、本手法は平均距離誤差（MDE）2.56ピクセルを達成し、CamScanner（21.5ピクセル）および ABBYY-Reader（20.6ピクセル）を大きく上回った。
• 強力な照明アーティファクト、背景のごみ、運動ブラー、部分的遮蔽に対しても、商業ツールがしばしば失敗する状況でも、本手法は優れた頑健性を示した。
• SmartDoc-QAデータセットにおいて、本手法は基準となる補正手法と比較して、特に複雑な幾何的および光沢的変化下でもOCR性能を一貫して向上させた。
• L1損失を用いたコーナー回帰は、L2損失に比べて一般化性能と安定性に優れており、性能差は統計的に有意ではないが、良好な傾向を示した。
• 4点パラメータ化によるホモトピー表現は、より安定した損失関数を実現し、3×3行列表現と比較して最先端の性能を達成した。
• 本手法は完全に自動的かつコンテンツに依存しない。ドキュメントのレイアウト、マージン、テキストラインの平行性に関する仮定は一切不要である。