[논문 리뷰] Visual Passwords Using Automatic Lip Reading

Ahmad B. Hassanat|arXiv (Cornell University)|2014. 09. 02.

Biometric Identification and Security참고 문헌 7인용 수 14

한 줄 요약

이 논문은 설정 및 검증 중에 특징 벡터를 추출하고 비교하는 시각적 발성 인식을 활용하여 비디오에서 자동으로 입모양을 읽는 방식으로 사용자를 인증하는 시각적 암호 시스템을 제안한다. 30명의 화자로 구성된 두 개의 데이터베이스에서 평가한 결과, 평균 오류율이 7.63%에서 20.51% 사이로 나타나, 기존 자격 증명과 결합될 경우 실용적인 생체 인증 방법으로의 가능성을 입증하였다.

ABSTRACT

This paper presents a visual passwords system to increase security. The system depends mainly on recognizing the speaker using the visual speech signal alone. The proposed scheme works in two stages: setting the visual password stage and the verification stage. At the setting stage the visual passwords system request the user to utter a selected password, a video recording of the user face is captured, and processed by a special words-based VSR system which extracts a sequence of feature vectors. In the verification stage, the same procedure is executed, the features will be sent to be compared with the stored visual password. The proposed scheme has been evaluated using a video database of 20 different speakers (10 females and 10 males), and 15 more males in another video database with different experiment sets. The evaluation has proved the system feasibility, with average error rate in the range of 7.63% to 20.51% at the worst tested scenario, and therefore, has potential to be a practical approach with the support of other conventional authentication methods such as the use of usernames and passwords.

연구 동기 및 목표

• 시각적 발성 인식 기반의 시각적 암호 메커니즘을 도입하여 시스템 보안을 향상시키는 것.
• 음성에 의존하지 않고 말할 때의 얼굴 운동에 의한 시각적 신호만을 사용하여 사용자 인증을 가능하게 하는 것.
• 다양한 화자들에 대한 실제 환경에서의 시각적 암호의 실현 가능성을 평가하는 것.
• 기존의 인증 방법과 시각적 암호 시스템을 통합하여 보안을 향상시키는 것.

제안 방법

• 시스템은 설정 단계에서 사용자가 선택한 암호를 말하는 동안의 영상을 촬영한다.
• 단어 기반의 비디오 발성 인식(VSR) 시스템이 얼굴 영상에서 특징 벡터의 시퀀스를 추출한다.
• 검증 단계에서는 동일한 과정을 반복하고, 추출된 특징을 저장된 시각적 암호 템플릿과 비교한다.
• 특징 비교는 유사도 측정 기준을 사용하여 인증 성공 또는 실패를 결정한다.
• 시스템은 암호 등록 및 실시간 검증의 두 단계 아키텍처를 사용한다.
• VSR 시스템은 청각 신호와 독립적으로 작동하며, 입술과 얼굴 운동 패턴에 집중한다.

실험 결과

연구 질문

• RQ1 시각적 발성 인식이 안정적이고 신뢰할 수 있는 시각적 암호 시스템을 구축하는 데 효과적으로 활용될 수 있는가?
• RQ2 성별 및 말하는 스타일의 차이가 있는 다양한 화자들 사이에서 시스템의 성능은 어떠한가?
• RQ3 실제 조건에서 시각적 암호 시스템의 실현 가능한 오류율은 얼마인가?
• RQ4 이 시스템은 기존의 사용자명과 암호 기반 인증 방식과의 보완으로 실용적으로 활용될 수 있는가?

주요 결과

• 다양한 테스트 환경에서 평균 오류율이 7.63%에서 20.51% 사이로 나타나 강력한 실현 가능성을 보였다.
• 20명의 화자(남성 10명, 여성 10명)로 구성된 데이터베이스에서 시스템은 성별 간 인식 능력을 검증하며 뛰어난 성능을 보였다.
• 추가로 15명의 남성 화자로 구성된 테스트 세트에서 일관된 성능이 유지됨을 확인하였다.
• 결과는 시각적 암호를 다중 인증 시스템의 실용적 생체 인증 요소로 통합할 수 있음을 뒷받침한다.