[論文レビュー] High Speed Event-based Face Detection and Tracking in the Blink of an Eye

Gregor Lenz, Sio-Hoï Ieng+1 more|arXiv (Cornell University)|Mar 27, 2018

Neural dynamics and brain function被引用数 4

ひとこと要約

本論文は、イベントカメラの高い時間分解能を活用して、目を閉じる動作（瞬き）を動的シグネイチャとして用いる、完全にイベントベースの顔検出および追跡手法を初めて提案する。個々の人物における同期的瞬きの特徴的な時間的パターンをモデル化することで、低遅延かつ計算効率が高く、多様な環境下でもリアルタイムで動作する顔検出と確率的追跡を実現する。

ABSTRACT

We present the first purely event-based method for face detection using the high temporal resolution of an event-based camera. We will rely on a new feature that has never been used for such a task that relies on detecting eye blinks. Eye blinks are a unique natural dynamic signature of human faces that is captured well by event-based sensors that rely on relative changes of luminance. Although an eye blink can be captured with conventional cameras, we will show that the dynamics of eye blinks combined with the fact that two eyes act simultaneously allows to derive a robust methodology for face detection at a low computational cost and high temporal resolution. We show that eye blinks have a unique temporal signature over time that can be easily detected by correlating the acquired local activity with a generic temporal model of eye blinks that has been generated from a wide population of users. We furthermore show that once the face is reliably detected it is possible to apply a probabilistic framework to track the spatial position of a face for each incoming event while updating the position of trackers. Results are shown for several indoor and outdoor experiments. We will also release an annotated data set that can be used for future work on the topic.

研究の動機と目的

• 最小限の計算負荷と高い時間分解能を備えた動的環境下での顔検出の課題に対処すること。
• 人間の目が自然に行う同期的瞬き行動を、顔検出のための固有の動的シグネイチャとして活用すること。
• 従来の画像特徴に依存せずに、イベントセンサの時間的感度を活用した、強固で低コストの顔検出手法を開発すること。
• 各イベント受信ごとに更新される確率的フレームワークを統合することで、リアルタイムでの顔追跡を可能にすること。

提案手法

• 多様なユーザー集団から得た一貫した瞬きダイナミクスの時間的モデルを基に、局所的なイベント活動と相関させて瞬きを検出する。
• 両目の同時瞬きを特徴的な空間時間的パターンとして用い、他の移動物体と顔を区別する。
• 到着するイベントストリームを用いて、リアルタイムで顔位置推定値を更新する確率的追跡フレームワークを適用する。
• 標準波形テンプレートを用いて瞬きの時間的シグネイチャをモデル化することで、異なる照明および運動条件でも信頼性の高い検出を可能にする。
• 光度変化に応じて発生する疎で非同期的なイベント出力を活用し、マイクロ秒レベルの精度で急速な瞬きダイナミクスを捉える。
• 新たに公開されたイベントベース瞬きシーケンスのアノテート済みデータセットを用いて、検出モデルの学習と検証を行う。

実験結果

リサーチクエスチョン

• RQ1 イベントベースセンサを用いて、従来の画像特徴に依存せずに、目瞬きダイナミクスを信頼性高く検出できるか？
• RQ2 両目の同期的瞬きが、他の物体と区別可能な固有で強固な時間的シグネイチャを提供するか？
• RQ3 多様なユーザーおよび環境にわたって、一貫した検出を可能にするために、汎用的な瞬き時間的モデルを適用可能か？
• RQ4 計算コストを低く抑えつつ、高い時間分解能を達成できる程度に、イベントベースの顔検出および追跡を実現できるか？

主な発見

• 瞬きはイベントベースデータにおいて特徴的で繰り返し可能な時間的シグネイチャを生じさせ、汎用的な時間的モデルを用いて信頼性高く検出可能である。
• 本手法は、動的光度変化のマイクロ秒レベルのイベントタイミングを活用することで、高時間分解能かつリアルタイムの顔検出を達成する。
• 両目の同期的瞬きは、片目のみの動きやランダムな瞬きパターンと比較して、顔検出のロバスト性を顕著に向上させる。
• 確率的追跡フレームワークは、継続的なイベントストリーム処理において、最小限の計算オーバーヘッドで正確な顔位置推定を維持する。
• 本手法は、屋内および屋外環境を問わず、照明や運動条件の変化に対しても一貫した性能を示す。
• 今後のイベントベース顔検出分野の研究を支援するため、新たにアノテート済みのイベントベース顔瞬きシーケンスデータセットを公開する。