[논문 리뷰] Egocentric Video Biometrics.

Yedid Hoshen, Bezalel Peleg|arXiv (Cornell University)|2014. 11. 27.

Face recognition and analysis참고 문헌 32인용 수 8

한 줄 요약

이 논문은 GoPro나 Google Glass과 같은 헤드셋 카메라에서 촬영한 에고세트릭 비디오가 얼굴이나 몸체를 촬영하지 않더라도 움직임 특징을 통해 생체인식 식별에 사용될 수 있음을 보여준다. 굵은 광학 흐름을 기반으로 훈련된 컨volutional 신경망(CNNs)을 사용함으로써, 몇 초 분량의 비디오로도 사용자를 신뢰성 있게 식별할 수 있으며, 이는 공공 비디오 공유 시 착용자의 익명성에 대한 기존의 가정을 도전한다.

ABSTRACT

Egocentric cameras are being worn by an increasing number of users, among them many security forces world-wide. GoPro cameras already penetrated the mass market, and Google Glass may follow soon. As head-worn cam-eras do not capture the face and body of the wearer, it may seem that the anonymity of the wearer can be preserved even when the video is publicly distributed. We show that motion features in egocentric video pro-vide biometric information, and the identity of the user can be determined quite reliably from a few seconds of video. Biometrics are extracted by training Convolutional Neural Network (CNN) architectures on coarse optical flow. Egocentric video biometrics can prevent theft of wear-able cameras by locking the camera when worn by people other than the owner. In video sharing services, this Bio-metric measure can help to locate automatically all videos shot by the same user. An important message in this paper is that people should be aware that sharing egocentric video will compromise their anonymity. 1.

연구 동기 및 목표

• 얼굴이나 전체 신체 시각 자료가 없는 상황에서도 에고세트릭 비디오가 생체인식 식별자로 기능할 수 있는지 조사하기 위해.
• 공개적으로 공유되는 에고세트릭 비디오가 사용자 익명성을 침해할 수 있는 개인정보 문제를 해결하기 위해.
• 도용된 사용자에 의한 비밀 사용을 방지하기 위해 가벼운 웨어러블 카메라를 자동으로 감지하고 잠그는 방법을 개발하기 위해.
• 비디오 공유 플랫폼에서 동일 사용자가 촬영한 영상을 자동으로 클러스터링할 수 있도록 하기 위해.
• 에고세트릭 비디오의 운동 패턴이 신원 식별에 충분한 분류 특징을 포함하고 있음을 입증하기 위해.

제안 방법

• 에고세트릭 비디오 시퀀스에서 추출한 굵은 광학 흐름 표현을 기반으로 컨volutional 신경망(CNNs)을 훈련시키기 위해.
• 일상 활동 중 개인이 머리를 어떻게 움직이는지의 고유한 방식을 활용하여 비디오 스트림의 운동 패턴을 주요 생체인식 신호로 삼기 위해.
• 몇 초 분량의 짧은 영상 클립에서 시간적 운동 특징을 추출하여 실시간 또는 거의 실시간 식별을 가능하게 하기 위해.
• 개인의 신원과 관련된 분류 특징을 학습하기 위해 딥러닝을 적용하기 위해.
• 얼굴 인식이나 신체 자세 추정이 필요 없이도 작동할 수 있는 시스템 설계를 위해.
• 다양한 조건에서 여러 사용자로부터 수집한 에고세트릭 비디오 데이터셋을 활용해 접근 방식을 검증하기 위해.

실험 결과

연구 질문

• RQ1 에고세트릭 비디오의 운동 특징을 활용해 얼굴이나 전체 신체가 보이지 않는 상황에서도 착용자를 신뢰성 있게 식별할 수 있는가?
• RQ2 에고세트릭 비디오 생체인식의 성능이 짧은 영상 클립(예: 3~5초)에 얼마나 의존하는가?
• RQ3 굵은 광학 흐름을 기반으로 훈련된 CNN 기반 모델이 다양한 사용자를 얼마나 잘 구분하는가?
• RQ4 이 생체인식 방법이 공개적으로 공유되는 웨어러블 카메라 영상에서 사용자 개인정보 및 익명성에 어떤 영향을 미치는가?
• RQ5 이 방법을 사용자 외의 사람이 착용했을 경우 웨어러블 카메라를 잠그는 데 사용할 수 있는가?

주요 결과

• 에고세트릭 비디오는 얼굴이나 신체 데이터 없이도 착용자의 신원을 높은 신뢰도로 식별할 수 있는 충분한 운동 기반 생체인식 정보를 포함한다.
• 몇 초 분량(3~5초)의 에고세트릭 비디오로도 굵은 광학 흐름을 기반으로 훈련된 CNN을 사용해 정확한 사용자 식별이 가능하다.
• 제안된 방법은 단지 머리 운동 패턴에 기반하여 개인을 식별함으로써, 에고세트릭 비디오에서의 익명성이 보장되지 않음을 입증한다.
• 이 시스템은 소유자가 아닌 다른 사람이 착용했을 경우 웨어러블 카메라를 잠그는 데 사용되어 접근 제어가 가능하다.
• 비디오 공유 플랫폼은 이 생체인식 기반 측정을 활용해 동일 사용자가 촬영한 모든 영상을 자동으로 그룹화하고 위치를 파악할 수 있다.
• 결과적으로 이는 중요한 개인정보 유출 위험을 드러내며, 공개적으로 공유되는 에고세트릭 영상가운데 착용자의 신원이 뜻하지 않게 드러날 수 있음을 시사한다.