[論文レビュー] A Visual Representation for Editing Face Images

Jiajun Lu, Kalyan Sunkavalli+3 more|arXiv (Cornell University)|Dec 2, 2016

Face recognition and analysis参考文献 24被引用数 5

ひとこと要約

本論文では、顔の形状、アルベド、照明、非パrametricなディテールマップを組み合わせた、顔画像編集のための新規な視覚的表現を提案する。低周波数のシェーディングと高周波数のディテールを分離することで、実用的でリアルなリライト、メイク転送、顔のディテール編集を実現し、最新の知覚的リアリズムを達成した。ユーザースタディーでは、90％以上のケースで実写と区別できない結果が得られた。

ABSTRACT

We propose a new approach for editing face images, which enables numerous exciting applications including face relighting, makeup transfer and face detail editing. Our face edits are based on a visual representation, which includes geometry, face segmentation, albedo, illumination and detail map. To recover our visual representation, we start by estimating geometry using a morphable face model, then decompose the face image to recover the albedo, and then shade the geometry with the albedo and illumination. The residual between our shaded geometry and the input image produces our detail map, which carries high frequency information that is either insufficiently or incorrectly captured by our shading process. By manipulating the detail map, we can edit face images with reality and identity preserved. Our representation allows various applications. First, it allows a user to directly manipulate various illumination. Second, it allows non-parametric makeup transfer with input face's distinctive identity features preserved. Third, it allows non-parametric modifications to the face appearance by transferring details. For face relighting and detail editing, we evaluate via a user study and our method outperforms other methods. For makeup transfer, we evaluate via an online attractiveness evaluation system, and can reliably make people look younger and more attractive. We also show extensive qualitative comparisons to existing methods, and have significant improvements over previous techniques.

研究の動機と目的

• アイデンティティを保持しつつ、リアルな外観操作を可能にする統合的視覚表現の開発。
• 複数の参照画像を必要とせず、単一の顔画像に対するインタラクティブリライトの実現。
• ドナーのアイデンティティと顔の構造を保持しつつ、高精度で非パrametricなメイク転送を実現。
• 肌の質感、毛穴、しわなどの細粒度な顔のディテール編集を、リアリズムを損なわずに行えるようにすること。
• 顔のリライトおよび編集品質について、定量的かつ知覚的根拠に基づいた評価フレームワークの提供。

提案手法

• 入力顔に対してモーファブル顔モデルを登録し、粗い3次元幾何を推定する。
• 推定された照明を用いたラムベルシャインモデルを用いて、入力画像をアルベドとシェーディングに分解する。
• レンダリング画像と入力画像の残差としてディテールマップを計算し、高周波数のずれを捉える。
• ディテールマップを用いて非パrametricな編集を実行：メイク転送、リライト、表面ディテールの変更。
• 乗法的ディテールマップブレンドを用いて、メイク転送中にアイデンティティを保持する。
• ユーザースタディーやオンラインでの魅力評価を用いて、知覚的品質を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 形状、アルベド、照明、ディテールマップを統合した視覚的表現は、リアルでインタラクティブな顔編集を可能にするか？
• RQ2 本手法は、既存の技術と比較して、単一顔画像のリライトにおいてどの程度効果的か？
• RQ3 非パrametricなメイク転送は、多様なメイクスタイルにおいてアイデンティティを保持しつつ、リアルな結果を生成できるか？
• RQ4 ユーザーは編集済み顔と実写をどの程度区別できるか？ これは知覚的リアリズムを示す。
• RQ5 ディテールマップ部が、ベースラインモデルと比較して顔編集品質を顕著に向上させるか？

主な発見

• リライトとディテール転送のユーザースタディーにおいて、それぞれ90.5％および92.5％の誤差率を達成し、実写とほとんど区別できない結果が得られた。
• メイク転送において、オンライン評価で外見の魅力と若々しさが著しく向上し、ユーザーは本手法の結果をベースライン手法よりも魅力的だと評価した。
• ユーザースタディーの結果、熟練ユーザーでさえも、編集済み顔と実写を信頼性高く区別できず、知覚的リアリズムの高さが確認された。
• モーファブルモデルもしくはディテールマップの欠如により、性能が著しく低下し、両者が高品質な結果を達成するために不可欠であることが証明された。
• リライト、メイク転送、ディテール編集の全タスクにおいて、既存手法を上回り、定性的および定量的に優れた結果を達成した。
• ディテールマップアプローチにより、幾何やアルベド推定が不正確であっても、頑健な編集が可能であり、モデルの不正確さに対して耐性があることが示された。