[論文レビュー] Deep Identity-aware Transfer of Facial Attributes

Mu Li, Wangmeng Zuo+1 more|arXiv (Cornell University)|Oct 18, 2016

Face recognition and analysis参考文献 55被引用数 141

ひとこと要約

DIAT は、マスクガイド付きの二ネットワーク系統（マスクネットワークと属性変換ネットワーク）を、敵対的、適応的知覚、アイデンティティ、知覚正則化、および属性比率の損失で訓練し、同一性を保ちながら顔の属性を転送する。局所・局所的でない属性や、同一性関連属性にも適用可能で、テスト時には効率的である。

ABSTRACT

This paper presents a Deep convolutional network model for Identity-Aware Transfer (DIAT) of facial attributes. Given the source input image and the reference attribute, DIAT aims to generate a facial image that owns the reference attribute as well as keeps the same or similar identity to the input image. In general, our model consists of a mask network and an attribute transform network which work in synergy to generate a photo-realistic facial image with the reference attribute. Considering that the reference attribute may be only related to some parts of the image, the mask network is introduced to avoid the incorrect editing on attribute irrelevant region. Then the estimated mask is adopted to combine the input and transformed image for producing the transfer result. For joint training of transform network and mask network, we incorporate the adversarial attribute loss, identity-aware adaptive perceptual loss, and VGG-FACE based identity loss. Furthermore, a denoising network is presented to serve for perceptual regularization to suppress the artifacts in transfer result, while an attribute ratio regularization is introduced to constrain the size of attribute relevant region. Our DIAT can provide a unified solution for several representative facial attribute transfer tasks, e.g., expression transfer, accessory removal, age progression, and gender transfer, and can be extended for other face enhancement tasks such as face hallucination. The experimental results validate the effectiveness of the proposed method. Even for the identity-related attribute (e.g., gender), our DIAT can obtain visually impressive results by changing the attribute while retaining most identity-aware features.

研究の動機と目的

• 表情、アクセサリ、年齢、性別といった多様なタスクにわたり、同一性を保つ統一的な顔属性転送を動機づける。
• 属性関連領域に編集を集約するための、マスクと変換の二ネットワークフレームワークを開発する。
• 真偽のターゲットなしで、敵対的損失と知覚損失を用いて属性転送の教師なし訓練を可能にする。

提案手法

• 属性関連領域マスク M(x) を予測するマスクネットワークを導入する。
• （Unet ベースの）属性変換ネットワークを導入して変換画像 T(x) を生成する。
• 出力を F(x)=M(x)∘T(x)+(1−M(x))∘x として結合し、最終結果を生成する。
• 識別器 D を用いた敵対的属性損失で、属性分布を一致させるよう訓練する。
• 識別器の特徴に定義された適応的知覚損失を用いて、同一性関連の内容を保持する。
• VGG-Face 特徴量に基づくアイデンティティ損失を課し、同一性の保持を強化する。
• アーティファクトを抑制するデノイジングネットワークを介した知覚正則化を追加する（DN）。
• マスクに対する属性比率正則化を適用し、領域の大きさを制御する。
• 安定性と性能のため、交互訓練方式を活用する。

実験結果

リサーチクエスチョン

• RQ1 DIAT は局所的およびグローバルな属性を横断して、元の同一性を保ちつつ望ましい属性を転送できるか。
• RQ2 敵対的属性損失、適応的知覚損失、およびアイデンティティ損失が転送品質にどう寄与するか。
• RQ3 本手法は、同一性関連属性と非同一性関連属性の両方を効果的に扱えるか。
• RQ4 実用的な使用に十分な効率があり、顔のホールイージョン等のタスクに拡張可能か。

主な発見

• DIAT は、表情、アクセサリの除去、年齢推移、性別転送などのタスクで、最小限の同一性変化で視覚的に説得力のある属性転送を実現する。
• テスト時に1秒あたり100枚を超える画像を処理できる。
• マスクガイド戦略により、属性関連領域に編集を限定し、無関係な領域のアーティファクトを低減する。
• 属性識別器上に定義された適応的知覚損失は、同一性を意識した転送と訓練の効率を促進する。
• デノイジングネットワークによる知覚正則化は、詳細を損なうことなくアーティファクトを抑制する。
• 属性比率正則化により、異なる属性間で編集の空間的範囲を制御できる。