[論文レビュー] What Makes Kevin Spacey Look Like Kevin Spacey

Supasorn Suwajanakorn, Ira Kemelmacher-Shlizerman+1 more|arXiv (Cornell University)|Jun 2, 2015

Face recognition and analysis参考文献 26被引用数 4

ひとこと要約

本論文では、インターネット上の未整理な写真データから、人物の「パーソナ」——つまり、特徴的な外見と行動——を捉えることができる制御可能な3次元顔モデルを再構築するシステムを提示する。3次元顔再構築、トラッキング、アライメント、マルチテクスチャモデリングを統合することで、別の人物の動画を用いて、対象者のアイデンティティ、形状、テクスチャを保ったまま、そのモデルを操り人形のように操る（puppeteering）ことが可能となり、インターネット上の画像のみを用いて有名人の顔に対して非常にリアルで一貫性のある結果を達成した。

ABSTRACT

We reconstruct a controllable model of a person from a large photo collection that captures his or her {\em persona}, i.e., physical appearance and behavior. The ability to operate on unstructured photo collections enables modeling a huge number of people, including celebrities and other well photographed people without requiring them to be scanned. Moreover, we show the ability to drive or {\em puppeteer} the captured person B using any other video of a different person A. In this scenario, B acts out the role of person A, but retains his/her own personality and character. Our system is based on a novel combination of 3D face reconstruction, tracking, alignment, and multi-texture modeling, applied to the puppeteering problem. We demonstrate convincing results on a large variety of celebrities derived from Internet imagery and video.

研究の動機と目的

• 未整理な写真および動画データのみを用いて、人物の「パーソナ」——独自の視覚的アイデンティティと行動的特徴——を捉えるシステムを開発すること。
• 別の人物（A）の動画を用いて、その人物（B）を操り人形化する技術を可能にし、BがAの表情を模倣するが、B自身の顔のアイデンティティとテクスチャを維持するようにすること。
• 従来の方法が制御されたスキャンやラボセッションを必要としているのを克服し、大規模で未整理なインターネット上の画像を用いて3次元モデルを再構築すること。
• 多様な写真から、表情依存の高精細テクスチャを合成し、しわ、しわくちゃ、照明の変化を保持すること。
• 活動的参加や専用機器を必要とせず、良好に撮影された人物のリアルで制御可能なアバターを生成する可能性を実証すること。

提案手法

• 3次元顔再構築および形状変形技術を用いて、大規模な写真データから対象者（B）の3次元顔モデルを再構築する。
• 3次元オプティカルフローを用いて、ドライバ（A）の動画から顔の幾何学的形状と運動をアライメントおよびトラッキングし、表情に起因する変形を推定する。
• 推定された運動場を用いて、ドライバ（A）の動きをパペット（B）の再構築済み3次元形状に変形することで、動きを転送する。
• 写真データのアライメント済み画像をマルチスケールでブレンドすることで、しわなどの高周波数ディテールを保持する、表情依存の詳細なテクスチャを合成する。
• 顔の表情、照明、外見に基づく類似度測定を用いて、テクスチャ平均化の際の写真の重みを設定し、一貫性とリアリズムを確保する。
• 画像ピラミッド全体にわたる階層的ブレンド処理を適用することで、特に照明条件が変化する状況でもシャープさを維持し、フレアを低減する。

実験結果

リサーチクエスチョン

• RQ1 人物の外見と行動のどの側面が、多様な役割においても認識可能な独自の「パーソナ」として機能するのか？
• RQ2 スキャンやラボセッションを必要とせず、未整理かつキャリブレーションのとられていない写真データから、リアルで制御可能な3次元顔モデルを再構築できるか？
• RQ3 1人の人物の顔の動きを、他の人物に転送する方法は何か？その際、対象者のアイデンティティ、形状、テクスチャを保持できるか？
• RQ4 大規模で多様な写真データから、照明や表情の違いがある中でも一貫性があり高精細なテクスチャ合成を可能にする技術は何か？
• RQ5 既存の写真データのみを用いて、未観測の表情や照明条件に対しても、このシステムはどの程度一般化可能か？

主な発見

• 本システムは、大規模な写真データから非常にリアルで表情依存のテクスチャを生成でき、しわやしわくちゃといった微細なディテールを保持した。
• 俳優Bの形状とテクスチャに、俳優Aの動きを適用した結果が、他の代替手法よりもより説得力があり信憑性がある操り人形化を実現した。
• 静的ワープ、アライメントなしの重み付き平均化、事前ワープ平均化といったベースライン手法に比べ、本手法はよりシャープで一貫性があり、表情に適応したテクスチャを生成した。
• 低周波数の照明効果が平均化されるため、照明条件の変化に対してもテクスチャ合成が頑健であるが、十分な類似表情の写真が揃っている場合、高周波数ディテールが保持される。
• 多スケールブレンドと類似度に基づく重み付けのおかげで、照明が強い場合やモノクロの参照画像がある場合でも、一貫性のある結果が得られる。
• 小規模なデータセットや表情の変化が限られた場合、性能が低下するが、ブレンド処理における類似度のしきい値や標準偏差を調整することで、これを緩和できる。