[논문 리뷰] Real-time information retrieval from Identity cards

Niloofar Tavakolian, Azadeh Nazemi외 1명|arXiv (Cornell University)|2020. 03. 26.

Handwritten Text Recognition Techniques참고 문헌 9인용 수 7

한 줄 요약

이 논문은 신원 증명서에서 정확하고 빠른 정보 검색을 위한 실시간, 딥러닝 기반 파이프라인을 제안한다. 주로 OCR 이전 단계인 기울기 교정, 얼굴 검출, 자동 컷팅, 텍스트 세그멘테이션에 중점을 두며, 기존의 전통적 방법 대신 EAST를 통한 텍스트 검출 및 DNN를 통한 얼굴 검출 모델을 도입함으로써 처리 시간을 0.7초에서 0.07초로 단축하고, 다중 방법 파이프라인을 통해 기울기 검출 정확도를 96%로 확보하여 신원 확인 시스템의 속도와 신뢰성 모두를 크게 향상시켰다.

ABSTRACT

Information is frequently retrieved from valid personal ID cards by the authorised organisation to address different purposes. The successful information retrieval (IR) depends on the accuracy and timing process. A process which necessitates a long time to respond is frustrating for both sides in the exchange of data. This paper aims to propose a series of state-of-the-art methods for the journey of an Identification card (ID) from the scanning or capture phase to the point before Optical character recognition (OCR). The key factors for this proposal are the accuracy and speed of the process during the journey. The experimental results of this research prove that utilising the methods based on deep learning, such as Efficient and Accurate Scene Text (EAST) detector and Deep Neural Network (DNN) for face detection, instead of traditional methods increase the efficiency considerably.

연구 동기 및 목표

• 신원 증명서에서의 실시간 정보 검색 처리 시간을 단축하고 정확도를 향상시키기 위해.
• 기울기, 회전, 노이즈, 다양한 레이아웃 등 신원 증명서 처리 과제를 해결하기 위해.
• 기존의 전통적 영상 처리 방법을 대체하여 전처리 단계에서 더 나은 성능을 내는 딥러닝 모델을 도입하기 위해.
• 후속 OCR 및 데이터 검증을 지원하는 자동 컷팅, 얼굴 검출, 텍스트 세그멘테이션을 위한 견고한 파이프라인 개발을 위해.
• 자동화되고 확장 가능한 전처리를 통해 신뢰할 수 있는 실시간 신원 데이터 검증을 가능하게 하기 위해.

제안 방법

• 기울기 및 회전 교정을 위해 FFT/MSE, Canny 에지 검출과 함께 Hough 변환을 조합한 다단계 파이프라인을 사용한다. 또한 F ̵́elix Abecassis의 방법을 적용한다.
• 얼굴 검출 및 추출을 위해 딥 네트워크(DNN)를 활용하여 기존 방법 대비 정확도를 10% 향상시키고 처리 시간을 0.75% 감소시켰다.
• 모르피ological 연산(블랙햇, 직사각형 및 정사각형 커널)을 적용하여 여권 페이지에서 기계 판독 가능 영역(MRZ)을 검출하고 추출한다.
• 텍스트 세그멘테이션에 MSER(Maximally Stable External Regions)와 EAST(Efficient and Accurate Scene Text)를 사용하며, EAST는 빠른 속도와 뛰어난 내구성으로 뛰어난 성능을 보였다.
• MSER, EAST 및 윤곽 특성의 조합을 통한 투표 시스템을 도입하여 자동 컷팅 정확도를 향상시켰다.
• 자동 컷팅 후 약간의 압축을 거쳐 약 90도 또는 180도의 회전을 분석하고, 필요에 따라 보정 회전을 수행한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 파이프라인은 신원 증명서 정보 검색의 처리 시간을 크게 단축시키면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 FFT, Hough, Abecassis의 다중 방법 접근 방식은 개별 방법 대비 기울기 및 회전 검출에 얼마나 효과적인가?
• RQ3 MSER를 EAST로 대체함으로써 실시간 시스템에서 텍스트 세그멘테이션의 속도와 신뢰성은 어느 정도 향상되는가?
• RQ4 딥러닝 기반 얼굴 검출은 기존 방법 대비 신원 증명서 이미지 처리에서 정확도와 처리 시간 측면에서 어떤가?
• RQ5 연결 요소 및 윤곽 검출 기반 자동 컷팅은 복잡한 코너 검출 대비 속도와 정밀도 측면에서 더 나은 성능을 내는가?

주요 결과

• MSER를 EAST로 대체함으로써 텍스트 세그멘테이션 처리 시간을 0.7초에서 0.07초로 단축시켜 10배 향상되었다.
• 기울기 검출을 위한 다중 방법 파이프라인은 기울기 검출 정확도가 96%로 나타나, 저 텍스트 밀도 환경에서 개별 방법 대비 뛰어난 성능을 보였다.
• DNN 기반 얼굴 검출은 기존 방법 대비 정확도를 10% 향상시키고 처리 시간을 0.75% 감소시켰다.
• MSER, EAST 및 윤곽 분석을 조합한 투표 시스템은 단독 방법보다 더 신뢰할 수 있는 자동 컷팅 결과를 도출했다.
• 모르피ological 연산을 통해 MRZ 데이터를 성공적으로 추출하여 여권 정보의 기계 판독 가능 검증을 가능케 하였다.
• 전체 파이프라인은 실시간 처리를 지원하며, 나이, 성별, 서명 인식 모듈을 통한 후속 검증을 가능하게 하였다.