[論文レビュー] 3D Face Reconstruction with Region Based Best Fit Blending Using Mobile Phone for Virtual Reality Based Social Media

Gholamreza Anbarjafari, Rain Eric Haamer+3 more|arXiv (Cornell University)|Dec 12, 2017

Face recognition and analysis参考文献 42被引用数 9

ひとこと要約

本論文では、データベースに登録された事前スキャン済み3D顔モデルを領域ベースでブレンドすることで、リアルタイムで3D顔再構築が可能な軽量でモバイル対応の手法を提案する。68個の顔面特徴点を検出することで、目の領域、鼻の領域、口の領域、残りの顔面領域といった顔の部位を、最も近いデータベースモデルにマッチングし、ピecewiseアフィンテクスチャマッピングを適用することで、標準のハードウェアでも1分未塔で正確でテクスチャ付きの3D顔を生成する。従来のモデル伸縮技術に起因する一般的な外見の欠点を克服する。

ABSTRACT

The use of virtual reality (VR) is exponentially increasing and due to that many researchers has started to work on developing new VR based social media. For this purpose it is important to have an avatar of the users which look like them to be easily generated by the devices which are accessible, such as mobile phone. In this paper, we propose a novel method of recreating a 3D human face model captured with a phone camera image or video data. The method focuses more on model shape than texture in order to make the face recognizable. We detect 68 facial feature points and use them to separate a face into four regions. For each area the best fitting models are found and are further morphed combined to find the best fitting models for each area. These are then combined and further morphed in order to restore the original facial proportions. We also present a method of texturing the resulting model, where the aforementioned feature points are used to generate a texture for the resulting model

研究の動機と目的

• バーチャルリアリティやソーシャルメディア用途に適した、モバイルRGB動画から現実的で計算効率の良い3D顔モデルを生成する課題に対処すること。
• 従来のモデル伸縮法やモーファブルモデル手法によって生じる一般的な外見の欠点を克服すること。
• 事前に構築された3Dスキャン顔データベースを活用することで、高速かつ領域別に特化したモデル選択とブレンドを可能にする手法を開発すること。
• 一般消費者向けモバイルデバイスに展開可能な、リアルタイムで低消費電力な3D顔再構築を実現すること。

提案手法

• 同一の頂点マッピングとUV座標を持つ217体の事前処理済み3D頭部スキャンデータを含むデータベースを用い、領域ベースのモデルマッチングを可能にする。
• 68個の特徴点検出を用いて入力画像から顔面領域（目、鼻、口、残りの顔面）を抽出し、類似度指標を用いてデータベース内の対応するレンダリング領域にマッチングする。
• 各顔面領域に対して、データベースモデルとの類似度に基づいた重みが割り当てられ、各領域の最もマッチングの良いモデルを組み合わせて最終的な3Dモデルを構築する。
• 顔の比率を保持しつつ、検出された68個の特徴点に合わせて頂点位置をモーフィングすることで、モデルを精緻化する。
• UVマップに適合させるために、入力フレームをピースワイズアフィン変換で変形し、自然な外見を得るために平均テクスチャをずらしてエッジブレンドする。
• パイプライン全体が標準CPU上で効率的に動作し、最新のハードウェアでは1分未満でモデル生成が完了する。

実験結果

リサーチクエスチョン

• RQ1 高価な深度センサーや高複雑度の最適化に依存せずに、モバイル端末で動作可能な軽量な3D顔再構築手法が、現実的な顔の特徴を再現できるか。
• RQ2 事前スキャン済み3Dモデルの領域ベースブレンドは、従来のモデル伸縮法と比較して、顔のアイデンティティと詳細の保持にどの程度効果的か。
• RQ3 再構築の品質が、特に頭部形状と顔面構造の面で、3Dスキャンデータベースの多様性と代表性にどの程度依存するか。
• RQ4 可変な照明条件や姿勢を伴う実世界のモバイル動画入力に対して、ピースワイズアフィンテクスチャマッピングが自然な外見の結果を生み出せるか。

主な発見

• 被験者がデータベースに存在する場合、表情が異なる状況下でも、スキャンされたモデルとほぼ同一の3D顔モデルを再構築できた。
• データベースに存在しない被験者の場合、入力に類似した顔の特徴をシステムが適切に選択したが、遠く離れた特徴のブレンドにより誤差が生じることがあった。
• 標準のi7 CPUとMATLAB 2015aを用いた場合、モデル作成プロセスは約3分を要したが、より高速なi7とMATLAB 2016bを用いることで1分未塔に短縮された。
• 領域別モデルブレンドを用いることで、従来のモデル伸縮法で見られる一般的な外見の欠点が顕著に低減された。
• ピースワイズアフィン変換と平均テクスチャをずらしたエッジブレンドを組み合わせたテクスチャ作成プロセスにより、自然な外見の結果が得られた。
• 顎などの大きな顔面構造の検出が不安定であるため、頭部形状の再構築に限界が見られた。また、この手法の性能は、頭部形状のカバー範囲に制限を受けていた。