[論文レビュー] Mobile Face Tracking: A Survey and Benchmark

Yiming Lin, Jie Shen+2 more|arXiv (Cornell University)|May 24, 2018

Face recognition and analysis参考文献 57被引用数 4

ひとこと要約

本論文では、80本の編集なしスマートフォン動画、95,000個の手動ラベル付きバウンディングボックス、14の属性を含む、モバイル環境における単一顔追跡のための最初のベンチマークMobiFaceを紹介する。36の最先端トラッカーの評価により、既存の手法ではモバイル顔追跡が未解決のままであることが示されたが、MobiFaceで微調整することで性能が著しく向上し、その独自の特徴が効果的に捉えられていることが証明された。

ABSTRACT

Face tracking serves as the crucial initial step in mobile applications trying to analyse target faces over time in mobile settings. However, this problem has received little attention, mainly due to the scarcity of dedicated face tracking benchmarks. In this work, we introduce MobiFace, the first dataset for single face tracking in mobile situations. It consists of 80 unedited live-streaming mobile videos captured by 70 different smartphone users in fully unconstrained environments. Over $95K$ bounding boxes are manually labelled. The videos are carefully selected to cover typical smartphone usage. The videos are also annotated with 14 attributes, including 6 newly proposed attributes and 8 commonly seen in object tracking. 36 state-of-the-art trackers, including facial landmark trackers, generic object trackers and trackers that we have fine-tuned or improved, are evaluated. The results suggest that mobile face tracking cannot be solved through existing approaches. In addition, we show that fine-tuning on the MobiFace training data significantly boosts the performance of deep learning-based trackers, suggesting that MobiFace captures the unique characteristics of mobile face tracking. Our goal is to offer the community a diverse dataset to enable the design and evaluation of mobile face trackers. The dataset, annotations and the evaluation server will be on \url{this https URL}.

研究の動機と目的

• 制約のないスマートフォン環境における顔追跡のための専用ベンチマークの不足に応える。
• 顔追跡のための多様で現実世界のデータセットを提供し、典型的なスマートフォン利用パターンを捉える。
• モバイル固有の課題に特化した既存の顔追跡アルゴリズムの評価と改善を可能にする。
• 現在のアプローチが対応できない、モバイル顔追跡の独自の特徴を特定する。
• データセット、アノテーション、評価サーバーの公開を通じて、今後の研究の基盤を確立する。

提案手法

• 制約のない環境で70名の異なるスマートフォンユーザーから80本の編集なしライブストリーミング動画を収集する。
• すべての動画において95,000個を超える顔インスタンスのバウンディングボックスを手動でアノテートする。
• 動画の内容と課題を特徴付けるために、6つの新しい属性を含む14の属性を導入する。
• 顔ランドマークトラッカー、汎用オブジェクトトラッカー、MobiFaceで微調整されたモデルを含む36の最先端トラッカーを評価する。
• 標準化された評価サーバーを用いて、一貫性があり再現可能な性能比較を保証する。
• 既存のトラッカーと提案されたベンチマークとの間の性能差を分析し、モバイル環境における主な失敗モードを同定する。

実験結果

リサーチクエスチョン

• RQ1 既存の顔追跡手法は、モバイルで制約のないスマートフォン動画ストリームの独自の課題に一般化できるか？
• RQ2 モバイル顔追跡と標準的なオブジェクト追跡を区別する主な視覚的・文脈的属性は何か？
• RQ3 MobiFaceデータセットで微調整することで、ディープラーニングベースの顔トラッカーの性能はどの程度向上するか？
• RQ4 現在の最先端トラッカーは、実際のモバイル動画シーケンスに存在する動的かつ多様な状態に対応できるか？
• RQ5 既存のベンチマークや追跡アルゴリズムが捉えていない、モバイル顔追跡の具体的な課題は何か？

主な発見

• 既存の顔追跡アプローチは、モバイル動画環境への一般化に失敗しており、問題が未解決のままであることが示された。
• MobiFaceデータセットでディープラーニングベースのトラッカーを微調整することで、顕著な性能向上が得られ、このデータセットがモバイル固有の課題を的確に捉えていることが証明された。
• MobiFaceデータセットは、急速な動き、オクルージョン、変化する照明など、従来のベンチマークが十分に扱わないモバイル顔追跡の独自の特徴を捉えている。
• 6つの新しい属性の導入により、モバイル環境における追跡の難易度をより洗練された分析が可能になった。
• 評価結果から、複数の最先端トラッカーがモバイル動画に適用された際、一貫した性能低下を示しており、専用のモバイル対応トラッキングモデルの必要性が浮き彫りになった。
• MobiFaceデータセットと評価サーバーの提供により、標準化されたベンチマークと今後のモバイル顔追跡研究の進展が可能になった。