[論文レビュー] Egocentric Video Biometrics.

Yedid Hoshen, Bezalel Peleg|arXiv (Cornell University)|Nov 27, 2014

Face recognition and analysis参考文献 32被引用数 8

ひとこと要約

本論文は、GoPro や Google Glass などのヘッドマウント型カメラから得られるエゴセントリック動画が、顔や身体の映像を捉えずにモーション特徴を用いてバイオメトリクス的識別に利用可能であることを示している。粗いオプティカルフローを用いて訓練された畳み込みニューラルネットワーク（CNN）により、数秒間の動画からも信頼性の高いユーザー識別が可能となり、公共の場で動画を共有する際の被写体匿名性の仮定に疑問を呈する。

ABSTRACT

Egocentric cameras are being worn by an increasing number of users, among them many security forces world-wide. GoPro cameras already penetrated the mass market, and Google Glass may follow soon. As head-worn cam-eras do not capture the face and body of the wearer, it may seem that the anonymity of the wearer can be preserved even when the video is publicly distributed. We show that motion features in egocentric video pro-vide biometric information, and the identity of the user can be determined quite reliably from a few seconds of video. Biometrics are extracted by training Convolutional Neural Network (CNN) architectures on coarse optical flow. Egocentric video biometrics can prevent theft of wear-able cameras by locking the camera when worn by people other than the owner. In video sharing services, this Bio-metric measure can help to locate automatically all videos shot by the same user. An important message in this paper is that people should be aware that sharing egocentric video will compromise their anonymity. 1.

研究の動機と目的

• 顔や全身の視覚的データが欠落している状況下でも、エゴセントリック動画がバイオメトリクス的識別子として機能できるかどうかを調査すること。
• エゴセントリック動画の公開共有がユーザーの匿名性を損なう可能性があるというプライバシー上の懸念を解決すること。
• 不正な使用を防ぐために、ウェアラブルカメラの自動検出とロックを可能にする手法を開発すること。
• 動画共有プラットフォームで、同じユーザーが撮影した動画を自動的にクラスタリングすることを可能にすること。
• エゴセントリック動画内のモーションパターンが、身元認識に十分な特徴を有していることを実証すること。

提案手法

• エゴセントリック動画シーケンスから抽出した粗いオプティカルフロー表現に、畳み込みニューラルネットワーク（CNN）を訓練すること。
• 日常的な活動における頭部の動き方の独自性を活用し、動画ストリーム内のモーションパターンを主なバイオメトリクス信号として用いること。
• 短い動画クリップ（数秒）から時間的モーション特徴を抽出することで、リアルタイムまたはニアリアルタイムの識別を可能にすること。
• 個々の身元と相関する特徴的なモーションシグネイチャを学習するためにディープラーニングを適用すること。
• 顔認識やボディポーズ推定を必要としないシステムを設計すること。
• 複数のユーザーが異なる条件下で収集したエゴセントリック動画データセットを用いて、手法の妥当性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 顔や全身が見えない状況下でも、エゴセントリック動画内のモーション特徴を用いて被写体の識別を信頼性高く行えるか？
• RQ2 短い動画クリップ（例：3〜5秒）のモーション情報に依存するエゴセントリック動画バイオメトリクスの性能はどの程度向上するか？
• RQ3 粗いオプティカルフローに訓練されたCNNベースのモデルは、異なるユーザーをどれほど正確に区別できるか？
• RQ4 このバイオメトリクス的手法が、公開共有されたウェアラブルカメラ動画におけるユーザーのプライバシーと匿名性に及ぼす影響は何か？
• RQ5 この手法を、不正なユーザーが着用した場合にウェアラブルカメラをロックするのにも使用可能か？

主な発見

• 顔や身体のデータが欠落している状況下でも、エゴセントリック動画に十分なモーションベースのバイオメトリクス的情報が含まれており、被写体の識別が高信頼性で可能である。
• 数秒間（3〜5秒）のエゴセントリック動画でさえ、粗いオプティカルフローに訓練されたCNNを用いることで、正確なユーザー識別が可能である。
• 本手法は、頭部の動きパターンに基づく単一の個人の識別に成功しており、エゴセントリック動画における匿名性が保証されないことを示している。
• 本システムは、所有者以外のユーザーが着用した場合にウェアラブルカメラをロックするのに利用可能であり、アクセス制御を実現できる。
• 動画共有プラットフォームは、このバイオメトリクス的手法を活用することで、同じユーザーが撮影したすべての動画を自動的にグループ化・特定できる。
• 本研究の結果は、深刻なプライバシーリスクを浮き彫りにしている：公開共有されたエゴセントリック動画は、被写体の身元を意図せず特定してしまう可能性がある。