[論文レビュー] FMHash: Deep Hashing of In-Air-Handwriting for User Identification

Duo Lu, Dijiang Huang+1 more|arXiv (Cornell University)|Jun 10, 2018

Hand Gesture Recognition Systems参考文献 26被引用数 3

ひとこと要約

FMHash は、VR/AR システムやウェアラブルデバイスにおける高速かつ高精度なユーザー識別を可能にする、コン pact でファジーなバイナリーハッシュコードを空中文字の入力から生成するディープラーニングフレームワークである。CNN をベースとするネットワークに新規の pq-正則化項を導入することで、200アカウントのデータセット上で 99.5% 以上の精度と 92.6% 以上の再現率を達成し、ジェスチャーのばらつきに対してもハッシュテーブルベースの検索が効率的に行える。

ABSTRACT

Many mobile systems and wearable devices, such as Virtual Reality (VR) or Augmented Reality (AR) headsets, lack a keyboard or touchscreen to type an ID and password for signing into a virtual website. However, they are usually equipped with gesture capture interfaces to allow the user to interact with the system directly with hand gestures. Although gesture-based authentication has been well-studied, less attention is paid to the gesture-based user identification problem, which is essentially an input method of account ID and an efficient searching and indexing method of a database of gesture signals. In this paper, we propose FMHash (i.e., Finger Motion Hash), a user identification framework that can generate a compact binary hash code from a piece of in-air-handwriting of an ID string. This hash code enables indexing and fast search of a large account database using the in-air-handwriting by a hash table. To demonstrate the effectiveness of the framework, we implemented a prototype and achieved >99.5% precision and >92.6% recall with exact hash code match on a dataset of 200 accounts collected by us. The ability of hashing in-air-handwriting pattern to binary code can be used to achieve convenient sign-in and sign-up with in-air-handwriting gesture ID on future mobile and wearable systems connected to the Internet.

研究の動機と目的

• 従来の入力方法が不適切なジェスチャーベースのインターフェースにおけるユーザー識別の課題に対処すること。
• VR/AR やウェアラブルデバイスにおける空中文字ジェスチャーを用いた、効率的でスケーラブルなユーザー識別を可能にすること。
• 同じユーザーによる繰り返し入力における自然なジェスチャーのばらつき（ファジーネス）に耐える、強固でコンパクトなバイナリーハッシュコードを生成すること。
• 新しいアカウントのための高速な再トレーニングを可能にし、高い精度を維持できるディープラーニングフレームワークを設計すること。
• 異なるユーザーのハッシュコード間の分離を強化し、データベース検索における誤検出（ファルス・ポジティブ）を最小限に抑えること。

提案手法

• FMHash はカメラベースのジェスチャーインターフェースを用い、ユーザーID文字列の空中文字入力中の3次元手の動き信号をキャプチャする。
• 正規化された時間的信号を処理するための深層畳み込みニューラルネットワーク（FMHashNet）が、16ビットのバイナリーハッシュコードを生成する。
• 異なるユーザーのハッシュコード間で少なくとも3ビットのハミング距離を保証するため、新規の pq-正則化項を導入する。
• 学習の安定化と高速収束（1回のフルトレーニングあたり約10分）を実現するため、段階的なトレーニング手順を採用する。
• 生成されたバイナリーハッシュコードを用いてハッシュテーブルを構築し、ユーザー識別に O(1) の平均ケースでの照合を実現する。
• 効率性とトレーニングの安定性を考慮し、RNN を避けて、順序データを処理する純粋な CNN アーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 自然な動きのばらつきに耐えるコンパクトでファジーなバイナリーハッシュコードに、空中文字ジェスチャーを信頼性高く変換できるか？
• RQ2 ディープラーニングモデルが、ユーザー間の高い分離度（ハミング距離 ≥3）を維持すると同時に、同一ユーザー内の一貫性を保てるか？
• RQ3 提案された pq-正則化項は、標準的な正則化法や活性化関数と比較して、ハッシュコードの分離度と識別精度の向上にどの程度効果的か？
• RQ4 性能の著しい低下を伴わずに、新しいアカウントの登録や更新のための高速な再トレーニングが可能か？
• RQ5 ハミング空間におけるハッシュコード距離の分布はどのようなものか？大規模データベースにおけるスパarsely かつ効率的なインデックス化をサポートするか？

主な発見

• FMHash は 200 アカウントのデータセットを用いた正確なハッシュコード照合において、99.5% 以上の精度と 92.6% 以上の再現率を達成し、ユーザー識別の高信頼性を示した。
• pq-正則化項により、99% のケースで異なるアカウントのハッシュコード間で少なくとも3ビットの距離が保たれ、識別性能の強化が図られた。
• ハッシュコードのビット分布はほぼ一様（0 と 1 がほぼ等比）であり、ビット間の相関が低く、バランスの取れた独立した情報符号化が実現していることが示された。
• 任意の2人のユーザーのハッシュコード間の平均ハミング距離は 7〜8 ビットであり、最小値は 3〜4 ビット、最大値は 13〜14 ビットであった。これにより、ハミング空間におけるスパースかつ良好に分離された配置が確認された。
• DSH に類似した正則化法や tanh リラクセーションと比較して、FMHash の pq-正則化項は、クラス間分離度の維持と、ビット許容範囲内での誤検出の低減の両面で優れた性能を示した。
• CNN をベースとする FMHashNet は、高速なトレーニング（1回のフルトレーニングあたり約10分）を実現し、新しいアカウント登録のための効率的な再トレーニングを可能にした。RNN を用いた代替手法と比較して、速度と安定性の両面で優れていた。