[논문 리뷰] Towards an Efficient Semantic Segmentation Method of ID Cards for Verification Systems

Rodrigo Lara, Andrés Valenzuela외 3명|arXiv (Cornell University)|2021. 11. 24.

Digital Media Forensic Detection인용 수 6

한 줄 요약

이 논문은 실세계 이미지에서 복잡한 배경 속에서 신분증을 정확하게 분리하기 위해 MobileUNet를 사용한 경량 의미 분할 방법을 제안한다. 칠레 신분증에서 mIoU가 0.9926, 다국가 데이터셋에서 0.9911을 기록하며 실시간 모바일 장치에 배포 가능한 최적화된 접근 방식을 통해 신원 확인 및 위조 탐지 시스템의 후속 작업을 크게 향상시킨다.

ABSTRACT

Removing the background in ID Card images is a real challenge for remote verification systems because many of the re-digitalised images present cluttered backgrounds, poor illumination conditions, distortion and occlusions. The background in ID Card images confuses the classifiers and the text extraction. Due to the lack of available images for research, this field represents an open problem in computer vision today. This work proposes a method for removing the background using semantic segmentation of ID Cards. In the end, images captured in the wild from the real operation, using a manually labelled dataset consisting of 45,007 images, with five types of ID Cards from three countries (Chile, Argentina and Mexico), including typical presentation attack scenarios, were used. This method can help to improve the following stages in a regular identity verification or document tampering detection system. Two Deep Learning approaches were explored, based on MobileUNet and DenseNet10. The best results were obtained using MobileUNet, with 6.5 million parameters. A Chilean ID Card's mean Intersection Over Union (IoU) was 0.9926 on a private test dataset of 4,988 images. The best results for the fused multi-country dataset of ID Card images from Chile, Argentina and Mexico reached an IoU of 0.9911. The proposed methods are lightweight enough to be used in real-time operation on mobile devices.

연구 동기 및 목표

• 비구속 환경에서 촬영된 신분증 이미지의 배경 간섭 문제를 해결하기 위해.
• 복잡한 배경에서 신분증 영역을 분리하는 강력한 의미 분할 방법을 개발하여 신원 확인 파이프라인의 후속 단계를 향상시키기 위해.
• 신분증 분할을 위한 공개된 대규모 데이터셋의 부족 문제를 해결하기 위해 칠레, 아르헨티나, 멕시코에서 수집한 총 45,007장의 수작업 레이블링된 데이터셋을 구축하고 활용하기 위해.
• 모바일 플랫폼에서 효율적이고 실시간 의미 분할을 수행하기 위해 Deep Learning 아키텍처인 MobileUNet와 DenseNet10을 평가하고 비교하기 위해.
• 정확하고 자동화된 신분증 영역 추출을 통해 원격 신원 확인 및 문서 위조 탐지의 신뢰성을 향상시키기 위해.

제안 방법

• 딥 러닝 모델을 사용하여 신분증 이미지의 각 픽셀을 전경(신분증) 또는 배경으로 분류하는 의미 분할 프레임워크를 제안한다.
• 세 국가(칠레, 아르헨티나, 멕시코)에서 수집한 총 45,007장의 수작업 레이블링된 신분증 이미지로 구성된 맞춤형 데이터셋을 활용한다. 이는 실제 및 제시 공격 시나리오를 포함한다.
• 두 가지 딥 러닝 아키텍처를 평가한다: 파라미터 수 650만 개의 MobileUNet와 파라미터 수 210,732개의 경량 DenseNet10 변형.
• 모델 학습은 교차 엔트로피 손실과 데이터 증강 기법을 사용하여 조명, 왜곡, 가림 등의 간섭에 대한 강건성을 향상시킨다.
• 모델 추론은 모바일 배포를 최적화하며, 성능과 속도를 고려해 입력 해상도를 448×448 픽셀로 설정한다.
• 성능 평가는 평균 교차율(Intersection over Union, IoU)을 사용하며, 비공개 테스트 세트(8,966장)에서 표준편차와 추론 시간을 측정한다.

실험 결과

연구 질문

• RQ1 경량 의미 분할 모델이 원격 확인 시스템에서 실제 세계의 복잡한 배경에서 신분증을 효과적으로 분리할 수 있는가?
• RQ2 다양한 국가의 다양한 신분증 레이아웃을 분할할 때 MobileUNet의 성능이 DenseNet10에 비해 어떻게 다른가?
• RQ3 신분증 디자인이 ICAO 기준을 충족하는 정도가 분할 정확도와 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 고성능을 유지하면서도 모바일 장치에서 실시간 추론을 수행할 수 있는가?
• RQ5 복합적 또는 위조된 신분증과 같은 제시 공격 시나리오에서 모델의 성능은 어떠한가?

주요 결과

• MobileUNet 모델은 칠레 신분증 하위셋에서 최고의 평균 IoU 0.9926을 기록하여 ICAO 준수 및 고품질 신분증에서 뛰어난 성능을 입증했다.
• 융합된 다국가 데이터셋(칠레, 아르헨티나, 멕시코)에서 MobileUNet는 평균 IoU 0.9911을 기록하여 다양한 레이아웃과 영상 품질 간의 강력한 일반화 능력을 보였다.
• MobileUNet의 추론 시간은 448×448 입력 이미지에서 0.023초였으며, 실시간 모바일 배포에 적합함을 확인했다.
• HOG/SVM 기반 베이스라인 방법은 칠레 이미지에서 평균 IoU 0.8671을 기록하여 최고의 딥 러닝 모델 대비 12.5%의 성능 격차를 보였다.
• 낮은 영상 품질과 일관되지 않은 레이아웃에도 불구하고, 아르헨티나 및 멕시코 신분증에서 각각 평균 IoU 0.9891과 0.9862를 기록하여 높은 성능를 유지했다.
• 합성 경계가 추가된 복합 신분증 이미지에서도 높은 분할 정확도를 보이며 제시 공격에 대한 강건성을 입증했다.