[논문 리뷰] A Missing and Found Recognition System for Hajj and Umrah

Salah A. Aly|arXiv (Cornell University)|2012. 08. 27.

Education and Islamic Studies참고 문헌 3인용 수 5

한 줄 요약

이 논문은 마카한과 매디나의 히지와 우마라 동안 실종자와 분실물 문제를 해결하기 위해 얼굴 인식과 물체 식별을 통합한 커스터머센싱 기반 식별 시스템을 제안한다. 안드로이드 기반 모바일 기기, 터치스크린 키오스크, Pilgrim 데이터베이스를 갖춘 중앙 집중식 서버를 사용하여, 실시간으로 실종된 개인과 발견된 물체를 실시간으로 감지하고 매칭할 수 있도록 하며, 실루엣 기반 얼굴 감지 및 이미지 검색을 통해 웹 포털 프레임워크를 통해 즉각적인 온라인 액세스와 경고를 제공한다. 이는 2011년 히지 시즌에 테스트되었다.

ABSTRACT

This note describes an integrated recognition system for identifying missing and found objects as well as missing, dead, and found people during Hajj and Umrah seasons in the two Holy cities of Makkah and Madina in the Kingdom of Saudi Arabia. It is assumed that the total estimated number of pilgrims will reach 20 millions during the next decade. The ultimate goal of this system is to integrate facial recognition and object identification solutions into the Hajj and Umrah rituals. The missing and found computerized system is part of the CrowdSensing system for Hajj and Umrah crowd estimation, management and safety.

연구 동기 및 목표

• 매년 약 2000만 명이 되는 대규모 순례자 대열로 인해 실종자와 분실물 문제가 증가하고 있는 상황를 해결하기 위해.
• 순례자 사진 데이터베이스를 기반으로 실시간으로 실종자, 사망자, 발견자 식별이 가능한 확장 가능한 시스템을 개발하기 위해.
• 실종자나 분실물에 대한 보고 및 회수를 가능하게 하기 위해 웹 포털 및 모바일 애플리케이션을 구축하여 PC 또는 모바일 기기에서 즉각적인 액세스를 보장하기 위해.
• 두 성지에서의 대중 밀도 측정, 안전, 비상 대응을 위한 커스터머센싱 프레임워크에 시스템을 통합하기 위해.
• 입구 이미지에서의 얼굴 인식을 활용해 국경 통제 및 이민 감시를 지원하기 위해.

제안 방법

• 3D 얼굴 기하학적 특징보다 일반적인 얼굴 윤곽에 초점을 맞춘 실루엣 기반 얼굴 감지 알고리즘을 사용하여, 다양한 조명 조건과 표정 변화에 더 강건한 성능을 확보한다.
• 모바일 기기나 키오스크에서 온 요청을 처리하기 위해 중앙 집중식 서버를 운영하며, 촬영된 이미지를 순례자 사진 데이터베이스와 비교한다.
• 사용자가 실종자나 분실물에 대한 사진과 설명을 모바일 기기 또는 터치스크린 키오스크를 통해 제출할 수 있도록 웹 포털 및 안드로이드 애플리케이션을 구현한다.
• 각 순례자당 최소 3장의 이미지를 포함하는 대규모 데이터셋(HUDA)을 활용하며, 다양한 자세, 표정, 조명, 배경 조건에서 촬영된 이미지를 포함하며, 전체 색상 JPG 형식으로 저장된다.
• 고밀도 이동 지역(대성전, 공항, 병원 등)에 고도화된 모니터링 카메라를 설치하여 실시간 이미지를 촬영하고, 자동으로 얼굴 감지 및 인식을 수행한다.
• 비상 상황(실종자, 신원 미확인 시신 등)에 대비해 스마트 알림 시스템을 운영하여 관계자에게 즉각 알림을 제공하고 빠른 대응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 성지에서의 고밀도, 다양성, 동적인 환경에서 얼굴 인식을 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 실제 순례자 환경에서 실루엣 기반 얼굴 감지 기술을 사용할 경우, 계산의 단순성과 정확도 사이의 최적 균형은 어떻게 달성할 수 있는가?
• RQ3 공통된 인프라와 데이터 모델을 활용해 실종자와 분실물 관리를 효율적으로 통합할 수 있는 통합 시스템은 어떻게 설계할 수 있는가?
• RQ4 웹 포털 및 모바일 애플리케이션 시스템이 실종자나 분실물의 회수에 있어 대응 시간을 얼마나 줄이고 복구율을 향상시킬 수 있는가?
• RQ5 기존의 대중 관리 및 안전 프레임워크에 실시간, 확장 가능한 식별 시스템을 통합할 수 있는가?

주요 결과

• 시스템은 2011년 히지 시즌 기간 동안 성공적으로 프로토타이핑 및 테스트되었으며, 실제 환경에서의 실현 가능성을 입증했다.
• 실제 환경의 변동성에 대비해 다양한 조건에서 최소 3장의 이미지를 포함하는 HUDA 데이터셋은 강력한 얼굴 인식 성능을 지원한다.
• 실루엣 기반 감지 기술을 사용함으로써 복잡한 3D 얼굴 모델링 없이도 만족스러운 정확도를 확보할 수 있었으며, 이는 시스템의 효율성을 향상시켰다.
• 모바일 기기나 키오스크 기반의 데이터 입력을 통해 실시간으로 실종자 및 분실물 식별이 가능하며, 결과는 몇 초 내로 온라인에서 접근 가능하다.
• 얼굴 인식 기술과 물체 추적, 중앙 집중식 데이터베이스의 통합을 통해 즉각적인 경고와 신속한 대응이 가능해져 안전성 향상과 복구 성과가 향상되었다.
• 시스템은 비상 대응뿐만 아니라 장기적인 데이터 수집도 지원하며, 웹 또는 모바일 플랫폼 통해 연중 내내 정보에 액세스할 수 있다.