[論文レビュー] Real-time Pupil Tracking from Monocular Video for Digital Puppetry

Artsiom Ablavatski, Andrey Vakunov+3 more|arXiv (Cornell University)|Jun 19, 2020

Video Analysis and SummarizationComputer Science参考文献 12被引用数 18

ひとこと要約

本稿では、モバイルデバイス上でリアルタイムに動作する、モノクローラル動画に基づく瞳孔トラッキングシステムを提示する。軽量なニューラルネットワークを用いて5つの重要な眼の特徴点（瞳孔中心および外側の虹彩）を検出するとともに、変位に基づくヒューリスティックを用いて瞳孔のブレンドシェープ係数を推定する。本手法は、最新のスマートフォンでも50FPSを超える性能を達成し、キャリブレーションや外部センサーを必要とせず、仮想アバターに生き生きとした応答性のある目の動きを実現する。

ABSTRACT

We present a simple, real-time approach for pupil tracking from live video on mobile devices. Our method extends a state-of-the-art face mesh detector with two new components: a tiny neural network that predicts positions of the pupils in 2D, and a displacement-based estimation of the pupil blend shape coefficients. Our technique can be used to accurately control the pupil movements of a virtual puppet, and lends liveliness and energy to it. The proposed approach runs at over 50 FPS on modern phones, and enables its usage in any real-time puppeteering pipeline.

研究の動機と目的

• モバイルデバイス上でモノクローラル動画からリアルタイムかつ高精度な瞳孔トラッキングを実現すること。
• 仮想アバターの表情が乏しくなる要因となる、静的または欠落した瞳孔の動きを解消すること。
• キャリブレーション不要のエンドツーエンドのパイプラインを構築し、既存の顔メッシュモデルと統合すること。
• 軽量なモデルを用いて、一般消費者向けのモバイルハードウェアでもリアルタイム性能（50+ FPS）を達成すること。
• 検出された特徴点からブレンドシェープ推定を用いて、自然で動的な目の動きを仮想パペットに実装すること。

提案手法

• 小さな効率的なニューラルネットワークが、顔メッシュ予測から切り出された64×64の眼領域を処理し、5つの2次元眼の特徴点（瞳孔中心および4つの外側虹彩点）を検出する。
• 検出された特徴点を元の顔メッシュと統合し、x, y座標を置き換えながらz座標を保持することで、メッシュを478頂点に拡張する。
• 変位に基づく手法により、4つの瞳孔方向（内向き、外向き、上向き、下向き）の経験的に導かれたニュートラル状態とアクティブ状態との間の頂点距離の差を比較して、ブレンドシェープ係数を計算する。
• 信頼できる測定値の円形バッファを用いて、リアルタイムの標準スコアフィルタが動的に変位しきい値を補正し、個々のユーザーの差に適応する。
• 後処理としてスムージングと両眼間の結合処理を実施し、ジャイタリティを低減し、視覚的に魅力的で安定した目アニメーションを実現する。
• パイプラインは、MediaPipeによるGPUアクセラレーションを介したTensorFlow Liteを用いて、モバイルデバイス上で効率的に実行可能である。

実験結果

リサーチクエスチョン

• RQ1 外部センサーやキャリブレーションを用いずに、モバイルデバイスのモノクローラル動画からリアルタイムに高精度な瞳孔トラッキングが可能か？
• RQ2 仮想パペットアニメーションに応用可能な意味のあるブレンドシェープ係数に、瞳孔の動きをどのようにマッピングできるか？
• RQ3 モバイルデバイスへのデプロイにおいて、モデルの精度、推論速度、メモリ使用量の最適なバランスは何か？
• RQ4 事前キャリブレーションなしで、リアルタイムに個々のユーザーの眼の幾何的差を補正できるか？
• RQ5 既存の顔メッシュパイプラインとシームレスに統合できる、軽量でエンドツーエンドのシステムを構築できるか？

主な発見

• ホールドアウトテストセットにおいて、瞳孔中心の平均絶対距離（MAD IED）は7.16%を達成し、ベースラインの手動アノテーション誤差（難易度の高いケースで7.04%）を上回った。
• 最新のスマートフォンでは50FPSを超えて動作し、iPhone Xでは眼のリファインネットワークの推論時間が最短で2.6msにまで短縮された。
• リアルタイムの標準スコアフィルタは、個々のユーザーの差に適応し、図3に示すように、時間経過とともに変位しきい値を安定化させた。
• 後処理と両眼間結合処理により、滑らかでジャイタリティのない目アニメーションが実現され、視覚的なリアリズムが向上した。
• 本手法は、任意の顔メッシュパイプラインに汎用的に適用可能であり、個別キャリブレーションや深度センサーを一切不要とした。
• 最終的なパイプラインは、ライブな瞳孔ダイナミクスを備えたリアルタイムパペット操作を可能にし、図1のレンダリング済み仮想アバターでその有効性が実証された。