[論文レビュー] Attention Mesh: High-fidelity Face Mesh Prediction in Real-time

Ivan Grishchenko, Artsiom Ablavatski+3 more|arXiv (Cornell University)|Jun 19, 2020

Face recognition and analysis参考文献 8被引用数 51

ひとこと要約

Attention Mesh は地域対応ヘッドを備えた統一の軽量モデルで、空間トランスフォーマを介して3D顔メッシュを予測します。 cascaded レベルの精度を実現し、モバイル上でのデバイス内性能を高速化 (>50 FPS) で達成します。

ABSTRACT

We present Attention Mesh, a lightweight architecture for 3D face mesh prediction that uses attention to semantically meaningful regions. Our neural network is designed for real-time on-device inference and runs at over 50 FPS on a Pixel 2 phone. Our solution enables applications like AR makeup, eye tracking and AR puppeteering that rely on highly accurate landmarks for eye and lips regions. Our main contribution is a unified network architecture that achieves the same accuracy on facial landmarks as a multi-stage cascaded approach, while being 30 percent faster.

研究の動機と目的

• オンデバイスARアプリケーション（メイク、操演、目の追跡）向けに高品質な3D顔メッシュ予測を促進する。
• 領域特異ヘッドを備えた統一アーキテクチャを導入し、多段階のカスケードの必要性を排除する。
• 目と唇など顕著な領域で高精度を達成しつつ、モバイル GPU でのリアルタイム性能を維持する。
• 意味的に有意な顔領域に計算を集中させる学習可能なアテンション機構を実証する。

提案手法

• 256x256 の画像入力を処理して 64x64 の特徴マップを生成する。
• 基底サブモデルを介してすべての478個の3D顔メッシュランドマークと関心領域のクロップ境界を予測する。
• 24x24 のアテンションクロップ特徴量から eyes、iris、 lips を予測する領域特異的サブモデルを使用する。
• アフィイントランスフォーメーション θ を用いて 64x64 マップから領域特徴を抽出する Spatial Transformer を使用する。
• 2 段階で訓練する： (i) 理想的なグラウンドト truth クロップを用いた独立訓練、(ii) モデルが予測したクロップを用いた訓練。
• 必要に応じて、全処理を GPU 上で実行することで CPU-GPU 同期を減らす 2 段階推論パイプラインを含める。

実験結果

リサーチクエスチョン

• RQ1 単一の統一モデルは、カスケード型の領域特異ランドマークシステムと同等の高忠実度な face mesh の精度を達成できるか？
• RQ2 アテンションを用いた領域特異ヘッドの導入は、唇と目のパフォーマンスを向上させ、全体の速度を犠牲にしないか？
• RQ3 モバイルGPU上でエンドツーエンドのアテンションベースのメッシュを使用した場合のデバイス内の性能向上はどれくらいか？
• RQ4 Attention Mesh はカスケードモデルと比較して唇、目、虹彩領域のランドマーク精度でどのように優れているか？

主な発見

• Attention Mesh は、典型的な最新のモバイル機器上で、別個の顔モデルと領域モデルのカスケードより25%以上高速に動作します。
• Pixel 2XL での全体推論時間：フルモデルで 16.6 ms；領域サブモデルは 4.18 ms（Lips）と 4.70 ms（Eye & iris）。
• All に対する平均正規化2Dランドマーク誤差（3Dの瞳孔間距離で正規化）：Attention Mesh は 3.11、Mesh と Cascade の総計では 2.99、Lips では 2.89 (Attention Mesh) vs. 2.70 (Cascade)、Eyes では 6.04 (Attention Mesh) vs. 6.28 (Cascade)。
• Attention Mesh はリップ領域の精度をカスケードと同等に達成し、目の領域の性能を向上させます。
• このモデルは、リップスティックのレンダリングやパペット操作などのリアルタイムARアプリケーションを、訓練・配布が容易な統一アーキテクチャでサポートします。