[논문 리뷰] Facial Recognition Enabled Smart Door Using Microsoft Face API

Karan Maheshwari, N. Nalini|arXiv (Cornell University)|2017. 05. 29.

IoT-based Smart Home Systems인용 수 14

한 줄 요약

이 논문은 Azure에 호스팅된 Microsoft Face API를 사용하여 실시간 HD 카메라 입력을 통해 사용자를 인증하는 얼굴 인식 기능을 탑재한 스마트 도어 시스템을 제시한다. 라즈베리 파이와 통합된 이 시스템은 얼굴을 감지하고 신원을 확인하며, 전자석을 제어하여 잠금을 해제하거나 잠그며, 음성 피드백을 제공함으로써 실시간 생체 인식 접근 제어 기능을 갖춘 기능성 있는 IoT 기반 홈 보안 프로토타입을 구현한다.

ABSTRACT

Privacy and Security are two universal rights and, to ensure that in our daily life we are secure, a lot of research is going on in the field of home security, and IoT is the turning point for the industry, where we connect everyday objects to share data for our betterment. Facial recognition is a well-established process in which the face is detected and identified out of the image. We aim to create a smart door, which secures the gateway on the basis of who we are. In our proof of concept of a smart door we have used a live HD camera on the front side of setup attached to a display monitor connected to the camera to show who is standing in front of the door, also the whole system will be able to give voice outputs by processing text them on the Raspberry Pi ARM processor used and show the answers as output on the screen. We are using a set of electromagnets controlled by the microcontroller, which will act as a lock. So a person can open the smart door with the help of facial recognition and at the same time also be able to interact with it. The facial recognition is done by Microsoft face API but our state of the art desktop application operating over Microsoft Visual Studio IDE reduces the computational time by detecting the face out of the photo and giving that as the output to Microsoft Face API, which is hosted over Microsoft Azure cloud support.

연구 동기 및 목표

• 기존 열쇠나 비밀번호를 대체할 수 있는 안전하고 자동화된 홈 접근 시스템을 얼굴 인식을 통해 개발하는 것.
• 실시간 영상 처리, 클라우드 기반 얼굴 인식(Microsoft Face API), 전자석을 통한 물리적 도어 제어를 통합하는 것.
• 음성 출력과 신원 확인 결과의 실시간 디스플레이를 통해 인간-기계 상호작용을 가능하게 하는 것.
• 클라우드에 데이터를 전송하기 전에 라즈베리 파이에서 얼굴 감지를 로컬로 사전 처리하여 계산 부담을 줄이는 것.
• 엔드 투 엔드 생체 인식 인증과 피드백을 갖춘 프로토타입 기반 IoT 기반 스마트 도어 시스템을 시연하는 것.

제안 방법

• 실시간 영상을 촬영하는 HD 카메라가 도어에 있는 사람들의 영상을 촬영하고, 이를 라즈베리 파이에 연결된 디스플레이 모니터로 스트리밍한다.
• 라즈베리 파이에서 Microsoft Visual Studio로 개발된 桌면 애플리케이션을 실행하여 영상 스트림에서 얼굴를 감지하고 얼굴 영역을 추출한다.
• 감지된 얼굴 이미지는 Azure 클라우드를 통해 Microsoft Face API로 전송되어 신원 확인 및 인식을 수행한다.
• 마이크로컨트롤러를 사용하여 전자석을 제어하여 도어 锁을 작동시키며, 성공적인 인식 시 자동으로 잠금을 해제한다.
• 라즈베리 파이에서 텍스트 음성 변환 처리를 수행하여 음성 피드백을 생성하고 loudspeaker를 통해 출력한다.
• 전체 시스템은 접근 제어 및 사용자 피드백에 대해 저지연 응답을 보장하는 실시간으로 작동하도록 설계되었다.

실험 결과

연구 질문

• RQ1 저비용의 IoT 기반 스마트 도어 시스템이 홈 보안을 위한 신뢰할 수 있는 실시간 얼굴 인식을 달성할 수 있는가?
• RQ2 클라우드 API(Microsoft Face API)에 얼굴 인식을 위탁함으로써 시스템 성능과 지연 시간에 어떤 영향을 미치는가?
• RQ3 라즈베리 파이에서 로컬으로 얼굴 감지를 수행할 경우 계산 부담을 얼마나 줄일 수 있고, 응답 시간을 얼마나 향상시킬 수 있는가?
• RQ4 로컬 처리와 클라우드 기반 AI를 조합한 하이브리드 시스템이 안전하고 상호작용 가능한 접근 솔루션을 제공할 수 있는가?
• RQ5 음성 피드백과 시각적 디스플레이의 통합은 생체 인식 접근 시스템의 사용자 경험을 얼마나 향상시키는가?

주요 결과

• 시스템은 Azure 클라우드를 통한 Microsoft Face API를 활용하여 실시간 얼굴 인식 및 자동 도어 잠금 해제를 성공적으로 시연하였다.
• 라즈베리 파이에서 수행한 로컬 얼굴 감지로 클라우드의 계산 부담이 감소하여 시스템 효율성이 향상되었다.
• 음성 피드백과 화면 표시의 통합으로 명확하고 실시간 사용자 상호작용 및 상태 업데이트가 가능했다.
• 마이크로컨트롤러로 제어하는 전자석을 사용함으로써 신뢰할 수 있고 안전한 물리적 접근 제어가 가능했다.
• 프로토타입는 신원 확인에 최소한의 지연 시간을 기록하며 기능성 있는 엔드 투 엔드 생체 인식 접근 시스템을 달성하였다.
• 클라우드 기반 얼굴 인식을 활용한 IoT 기반 스마트 홈 보안을 위한 프로토타입로서의 실현 가능성이 입증되었다.