[論文レビュー] Real-time information retrieval from Identity cards

Niloofar Tavakolian, Azadeh Nazemi+1 more|arXiv (Cornell University)|Mar 26, 2020

Handwritten Text Recognition Techniques参考文献 9被引用数 7

ひとこと要約

本論文は、回転補正、顔検出、自動クロッピング、テキストセグメンテーションなどの前OCR段階に焦点を当て、正確で高速な身分証明書からの情報抽出を実現するリアルタイムでディープラーニングベースのパイプラインを提案する。EASTを用いたテキスト検出とDNNを用いた顔検出といったモデルに従来の手法を置き換えることで、処理時間を0.7秒から0.07秒に短縮し、マルチメソッドパイプラインを用いて回転検出の正確性を96％に達成し、本人確認システムの速度と信頼性の両面で顕著な向上を実現した。

ABSTRACT

Information is frequently retrieved from valid personal ID cards by the authorised organisation to address different purposes. The successful information retrieval (IR) depends on the accuracy and timing process. A process which necessitates a long time to respond is frustrating for both sides in the exchange of data. This paper aims to propose a series of state-of-the-art methods for the journey of an Identification card (ID) from the scanning or capture phase to the point before Optical character recognition (OCR). The key factors for this proposal are the accuracy and speed of the process during the journey. The experimental results of this research prove that utilising the methods based on deep learning, such as Efficient and Accurate Scene Text (EAST) detector and Deep Neural Network (DNN) for face detection, instead of traditional methods increase the efficiency considerably.

研究の動機と目的

• 身分証明書からの情報抽出における処理時間を短縮し、正確性を向上させること。
• 歪み、回転、ノイズ、不規則なレイアウトといった身分証明書処理の課題に対処すること。
• 従来の画像処理手法を、前OCR段階でのパフォーマンス向上を図るためのディープラーニングモデルに置き換えること。
• 自動クロッピング、顔検出、テキストセグメンテーションを支援する耐障害性の高いパイプラインを構築し、その後続のOCRおよびデータ検証を可能にすること。
• 自動的でスケーラブルな前処理を用いて、信頼性の高いリアルタイムの本人データ確認を可能にすること。

提案手法

• FFT/MSE、ホフ変換とキャニー端縁検出、およびF ̵́elix Abecassis氏の手法を組み合わせたマルチステージパイプラインを用いて、歪みおよび回転補正を実施する。
• 顔検出および抽出に深層ニューラルネットワーク（DNN）を採用し、従来手法と比較して正確性を10％向上させるとともに、処理時間を0.75％短縮した。
• マシンリーダブルゾーン（MRZ）をパスポートページから検出および抽出するために、モルフォロジカル操作（ブラックハット、長方形および正方形のカーネル）を適用する。
• テキストセグメンテーションにはMSER（最大安定外部領域）とEAST（効率的で正確なシーンテキスト）を用い、EASTは速度と頑健性の両面で優れた性能を示した。
• MSER、EAST、およびホロウの性質を統合したボーリングシステムを実装し、自動クロッピングの正確性を向上させた。
• 自動クロッピング後のアスペクト比を分析することで、90度／180度回転を検出し、必要に応じて補正回転を実施する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのパイプラインは、正確性を維持または向上させつつ、身分証明書情報抽出における処理時間を顕著に短縮できるか？
• RQ2 FFT、ホフ変換、Abecassis手法を組み合わせたマルチメソッドアプローチは、個別の手法と比較して、歪みおよび回転検出においてどの程度効果的か？
• RQ3 MSERをEASTに置き換えることで、リアルタイムシステムにおけるテキストセグメンテーションの速度と信頼性はどの程度向上するか？
• RQ4 DNNベースの顔検出は、従来手法と比較して、身分証明書画像の正確性と処理時間の両面でどの程度優れているか？
• RQ5 連結成分およびホロウ検出に基づく自動クロッピングは、手動または複雑なコーナー検出と比較して、速度と正確性の両面で優れているか？

主な発見

• MSERをEASTに置き換えることで、テキストセグメンテーションの処理時間を0.7秒から0.07秒に短縮し、10倍の高速化を達成した。
• マルチメソッドパイプラインによる歪み検出は96％の真正陽性率を達成し、低テキスト密度の状況下でも個別の手法を顕著に上回った。
• DNNベースの顔検出は、従来手法と比較して正確性を10％向上させるとともに、処理時間を0.75％短縮した。
• MSER、EAST、およびホロウ解析を統合したボーリングシステムは、単体の手法よりも信頼性の高い自動クロッピング結果を生み出した。
• モルフォロジカル操作を用いてMRZデータを正常に抽出し、パスポート情報の機械可読な検証を可能にした。
• 全体のパイプラインはリアルタイム処理をサポートしており、年齢、性別、署名認識モジュールによる後続の検証を可能にした。