[論文レビュー] Towards an Efficient Semantic Segmentation Method of ID Cards for Verification Systems

Rodrigo Lara, Andrés Valenzuela+3 more|arXiv (Cornell University)|Nov 24, 2021

Digital Media Forensic Detection被引用数 6

ひとこと要約

本稿では、実世界の画像におけるごみだらけの背景から身分証明書を正確に分離するために、MobileUNetを用いた軽量な意味的セグメンテーション手法を提案する。チリの身分証明書では平均交差率（IoU）が0.9926、複数国用のデータセットでは0.9911を達成した。この手法はモバイルデバイスへのリアルタイムデプロイメントを最適化しており、本人確認および改ざん検出システムにおける下流タスクの性能を顕著に向上させている。

ABSTRACT

Removing the background in ID Card images is a real challenge for remote verification systems because many of the re-digitalised images present cluttered backgrounds, poor illumination conditions, distortion and occlusions. The background in ID Card images confuses the classifiers and the text extraction. Due to the lack of available images for research, this field represents an open problem in computer vision today. This work proposes a method for removing the background using semantic segmentation of ID Cards. In the end, images captured in the wild from the real operation, using a manually labelled dataset consisting of 45,007 images, with five types of ID Cards from three countries (Chile, Argentina and Mexico), including typical presentation attack scenarios, were used. This method can help to improve the following stages in a regular identity verification or document tampering detection system. Two Deep Learning approaches were explored, based on MobileUNet and DenseNet10. The best results were obtained using MobileUNet, with 6.5 million parameters. A Chilean ID Card's mean Intersection Over Union (IoU) was 0.9926 on a private test dataset of 4,988 images. The best results for the fused multi-country dataset of ID Card images from Chile, Argentina and Mexico reached an IoU of 0.9911. The proposed methods are lightweight enough to be used in real-time operation on mobile devices.

研究の動機と目的

• 制約のない環境で撮影された身分証明書画像における背景の干渉という課題に対処すること。例として、照明が悪い状況、隠蔽、ごみだらけの背景が含まれる。
• 複雑な背景から身分証明書領域を分離する耐障害性の高い意味的セグメンテーション手法を開発し、本人確認パイプラインの後続段階を向上させること。
• 身分証明書セグメンテーション用に公開されている大規模データセットの不足を補うために、チリ、アルゼンチン、メキシコからなる45,007枚の画像を手作業でアノテートしたデータセットを構築・活用すること。
• モバイルプラットフォーム上で効率的かつリアルタイムな意味的セグメンテーションを実現するため、ディープラーニングアーキテクチャ（MobileUNetとDenseNet10）を評価・比較すること。
• 正確で自動化された身分証明書領域抽出を可能にすることで、リモート本人確認および文書改ざん検出の信頼性を向上させること。

提案手法

• 本手法は、深層学習モデルを用いて、身分証明書画像の各画素を前景（身分証明書）または背景に分類する意味的セグメンテーションフレームワークを提案する。
• 本手法は、3か国（チリ、アルゼンチン、メキシコ）の実際の身分証明書およびプレゼンテーション攻撃シナリオを含む、45,007枚の手作業でアノテートされた身分証明書画像のカスタムデータセットを採用する。
• 2つのディープラーニングアーキテクチャを評価する：パラメータ数650万のMobileUNetと、パラメータ数210,732の軽量DenseNet10バージョン。
• モデルの訓練には交差エントロピー損失関数とデータオーグメンテーション技術を用い、照明、歪み、隠蔽に対する耐性を高める。
• 推論はモバイルデプロイメントを最適化しており、最良のパフォーマンスと速度を得るために、入力解像度を448×448ピクセルに設定している。
• 性能評価には平均交差率（IoU）を用い、プライベートテストセット（8,966枚）を用いて標準偏差と推論時間を測定している。

実験結果

リサーチクエスチョン

• RQ1 リモート本人確認システムにおいて、複雑な実世界の背景から身分証明書を効果的に分離できる軽量な意味的セグメンテーションモデルは実現可能か？
• RQ2 複数の国で多様な身分証明書レイアウトを対象とした場合、MobileUNetとDenseNet10の性能はどのように比較されるか？
• RQ3 身分証明書デザインのICAO準拠性が、セグメンテーション精度およびモデルの汎化性能にどの程度影響を与えるか？
• RQ4 本手法は、高いセグメンテーション精度を維持しつつ、モバイルデバイスでリアルタイム推論を達成できるか？
• RQ5 合成または偽造された身分証明書を含むプレゼンテーション攻撃シナリオにおいて、モデルの性能はいかがであるか？

主な発見

• MobileUNetはチリの身分証明書サブセットで最高の平均IoU 0.9926を達成し、ICAO準拠で高品質な身分証明書において優れた性能を示した。
• 統合された複数国データセット（チリ、アルゼンチン、メキシコ）では、MobileUNetが平均IoU 0.9911を達成し、多様なレイアウトと画像品質にわたる強力な汎化性能を示した。
• MobileUNetの推論時間は、448×448入力画像で0.023秒であった。これは、リアルタイムモバイルデプロイメントに適していることを確認した。
• HOG/SVMベースライン手法はチリの画像で平均IoU 0.8671にとどまり、最良のディープラーニングモデルと比較して12.5％の性能差があった。
• 画像品質が低く、レイアウトが一貫性のないアルゼンチンおよびメキシコの身分証明書においても、モデルは高い性能を維持しており、平均IoUはそれぞれ0.9891および0.9862であった。
• 合成された境界線を含む複合身分証明書画像に対しても高いセグメンテーション精度を示したため、モデルはプレゼンテーション攻撃に対して耐性があることが裏付けられた。