[논문 리뷰] FMHash: Deep Hashing of In-Air-Handwriting for User Identification

Duo Lu, Dijiang Huang외 1명|arXiv (Cornell University)|2018. 06. 10.

Hand Gesture Recognition Systems참고 문헌 26인용 수 3

한 줄 요약

FMHash는 가상현실/증강현실 및 웨어러블 시스템에서 빠르고 정확한 사용자 식별을 가능하게 하는 딥러닝 프레임워크로, 공중에 손으로 쓰는 제스처에서 압축된 흐린 이진 해시 코드를 생성한다. CNN 기반 네트워크에 새로운 pq-정규화 기법을 도입하여 200개 계정 데이터셋에서 정밀도 ≥99.5% 및 재현율 ≥92.6%를 달성함으로써 제스처의 변동성에도 불구하고 효율적인 해시 테이블 기반 검색이 가능하다.

ABSTRACT

Many mobile systems and wearable devices, such as Virtual Reality (VR) or Augmented Reality (AR) headsets, lack a keyboard or touchscreen to type an ID and password for signing into a virtual website. However, they are usually equipped with gesture capture interfaces to allow the user to interact with the system directly with hand gestures. Although gesture-based authentication has been well-studied, less attention is paid to the gesture-based user identification problem, which is essentially an input method of account ID and an efficient searching and indexing method of a database of gesture signals. In this paper, we propose FMHash (i.e., Finger Motion Hash), a user identification framework that can generate a compact binary hash code from a piece of in-air-handwriting of an ID string. This hash code enables indexing and fast search of a large account database using the in-air-handwriting by a hash table. To demonstrate the effectiveness of the framework, we implemented a prototype and achieved >99.5% precision and >92.6% recall with exact hash code match on a dataset of 200 accounts collected by us. The ability of hashing in-air-handwriting pattern to binary code can be used to achieve convenient sign-in and sign-up with in-air-handwriting gesture ID on future mobile and wearable systems connected to the Internet.

연구 동기 및 목표

• 기존의 타이핑이 불가능한 제스처 기반 인터페이스에서 사용자 식별 문제를 해결하기 위해.
• 가상현실/증강현실 및 웨어러블 기기에서 공중에 손으로 쓰는 제스처를 이용해 효율적이고 확장 가능한 사용자 식별을 가능하게 하기 위해.
• 동일 사용자가 반복적으로 작성하는 제스처의 자연스러운 변동성(흐릿함)을 수용하는 강력하고 압축된 이진 해시 코드를 생성하기 위해.
• 새로운 계정에 대한 신속한 재학습이 가능하고 높은 정확도를 유지할 수 있도록 하는 딥러닝 프레임워크를 설계하기 위해.
• 다른 사용자 간의 해시 코드 간 분리도를 강화하여 데이터베이스 검색에서 잘못된 일치(false positives)를 최소화하기 위해.

제안 방법

• FMHash는 사용자가 ID 문자열을 공중에 쓰는 동안 3차원 손 움직임 신호를 캠éra 기반 제스처 인터페이스로 캡처한다.
• 정규화된 시간 신호를 처리하기 위해 딥 컨volution 네트워크(FMHashNet)를 사용하여 16비트 이진 해시 코드를 생성한다.
• 새로운 pq-정규화 기법을 도입하여 99%의 경우 다른 사용자 간 해시 코드 간 히브닝 거리(Hamming distance)가 최소 3비트 이상이 되도록 강제한다.
• 학습 안정성과 빠른 수렴(약 10분/전체 학습)을 확보하기 위해 점진적 학습 절차를 적용한다.
• 생성된 이진 해시 코드를 기반으로 해시 테이블을 구축하여 사용자 식별을 위한 평균 O(1) 시간 복잡도의 검색을 가능하게 한다.
• 효율성과 학습 안정성을 고려해 RNN을 회피하고 순수한 CNN 아키텍처를 사용하여 순차적 제스처 데이터를 처리한다.

실험 결과

연구 질문

• RQ1 공중에 손으로 쓰는 제스처는 자연스러운 운동 변화를 수용할 수 있는 압축된 흐린 이진 해시 코드로 신뢰성 있게 변환될 수 있는가?
• RQ2 딥러닝 모델이 사용자 간의 높은 분리도(Hamming distance ≥3)를 유지하면서도 동일 사용자 내 일관성을 확보할 수 있는가?
• RQ3 제안된 pq-정규화 기법은 표준 정규화 또는 활성화 방법에 비해 해시 코드 분리도 및 식별 정확도 향상에 얼마나 효과적인가?
• RQ4 시스템은 성능 저하 없이 새로운 계정 또는 업데이트에 대해 신속한 재학습을 지원할 수 있는가?
• RQ5 해시 코드의 히브닝 공간 내 거리 분포는 어떻게 되며, 이는 대규모 데이터베이스에서 희소하고 효율적인 색인화를 지원하는가?

주요 결과

• FMHash는 200개 계정 데이터셋에서 정확도 ≥99.5% 및 재현율 ≥92.6%를 달성하여 사용자 식별의 높은 신뢰성을 입증했다.
• pq-정규화 기법은 99%의 경우 다른 계정 간 해시 코드 간 거리가 최소 3비트 이상이 되도록 보장하여 식별의 강건성을 크게 향상시켰다.
• 해시 코드 비트의 분포는 근사적으로 균일 분포(0과 1의 수가 균형 잡힘)이며 비트 간 상관관계가 낮아 정보 인코딩의 균형과 독립성을 나타낸다.
• 임의의 두 사용자 해시 코드 간 평균 히브닝 거리는 7~8비트이며, 최소 3~4비트, 최대 13~14비트로, 히브닝 공간 내 희소하고 잘 분리된 배치를 확인했다.
• DSH 유사 정규화 및 tanh 리프레시먼트와 비교해도 FMHash의 pq-정규화 기법은 클래스 간 분리도 유지 및 비트 허용 오차 하에서 잘못된 일치 감소 측면에서 뛰어난 성능을 보였다.
• CNN 기반의 FMHashNet은 빠른 학습(~10분/전체 학습)을 달성했으며, 새로운 계정 등록을 위한 효율적 재학습도 가능했으며, 속도와 안정성 측면에서 RNN 기반 대안보다 뛰어났다.