[論文レビュー] Facelet-Bank for Fast Portrait Manipulation

Ying-Cong Chen, Huaijia Lin+6 more|arXiv (Cornell University)|Mar 15, 2018

Face recognition and analysis参考文献 31被引用数 13

ひとこと要約

本論文では、ペaired学習データを必要とせず、一般化されたポートレート操作を可能にする高速で柔軟なエンドツーエンドのCNNフレームワーク、Facelet-Bankを提案する。この手法は、中間畳み込み層の学習可能なフェイスレットバンクを用いて、表情、メイク、アクセサリーなどの顔貌特徴の高速かつ制御可能な編集を実現し、従来手法（DFI）と比較して最大3,371倍高速な高品質・高解像度の結果を達成する。

ABSTRACT

Digital face manipulation has become a popular and fascinating way to touch images with the prevalence of smartphones and social networks. With a wide variety of user preferences, facial expressions, and accessories, a general and flexible model is necessary to accommodate different types of facial editing. In this paper, we propose a model to achieve this goal based on an end-to-end convolutional neural network that supports fast inference, edit-effect control, and quick partial-model update. In addition, this model learns from unpaired image sets with different attributes. Experimental results show that our framework can handle a wide range of expressions, accessories, and makeup effects. It produces high-resolution and high-quality results in fast speed.

研究の動機と目的

• ペア学習データを必要とせず、多様な顔貌特徴の操作が可能な汎用的でデータ駆動型のフレームワークの開発。
• リアルタイムのポートレート編集アプリケーション向けに、高速な推論と編集強度のインタラクティブ制御を実現。
• 異なる顔貌効果をモジュラーで更新可能な畳み込み層に分離することで、システムの拡張性と開発者フレンドリー性を向上。
• 深層特徴補間による疑似ラベルと組み合わせた局所的なインダクティブバイアスを活用することで、ノイズや不完全な監視信号の課題に対処。
• グローバルな画像レベルのマッピングではなく、局所的で意味論的意識を持つ変換を学習することで、相関する属性（例：ひげと性別）を分離。

提案手法

• 特定の顔貌効果をモデル化する中間畳み込み層（Conv-ReLU-Conv-ReLU-Conv）の学習可能なフェイスレットバンクを備えた、共有エンコーダーとデコーダーを有するエンコーダ-デコーダアーキテクチャを採用。
• ペアでない学習データに対して、深層特徴補間（DFI）を用いて疑似ターゲット画像を生成し、人為的ラベルなしの弱い教師付き学習を可能にする。
• 潜在空間内での最近傍平均を用いて計算される学習済み属性方向シフトΔvを用い、編集強度とスタイル変換を制御。
• 複数のフェイスレットバンク層（例：層3、4、5）を組み合わせるマルチレイヤー集約戦略を採用し、編集の局所性と完全性を向上。
• 顔のワープ、最近傍探索、バックワード最適化といった高コストな処理を回避する、軽量でエンドツーエンドの学習パイプラインを導入。
• 潜在コードとΔvを一度計算し、その後λの強度を単純な順方向伝搬で変化させることで、リアルタイム推論を実現：E(x) + λΔv → D。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングフレームワークが、ペア学習データを必要とせず、表情、メイク、アクセサリーなど多様な顔貌特徴の操作に一般化可能か？
• RQ2 ディープラーニングベースのポートレート操作システムにおいて、編集強度をインタラクティブかつ効率的に制御する方法は何か？
• RQ3 学習可能なモジュラーなフェイスレットバンクアーキテクチャは、DFI や CycleGAN といった既存のセット・ツー・セット画像変換手法を、品質と速度の両面で上回るか？
• RQ4 ペアでないデータで学習した場合、相関する属性（例：ひげと性別）をどれだけ効果的に分離できるか？
• RQ5 畳み込み層に内蔵された局所的インダクティブバイアスは、弱い教師付き学習におけるノイズの多い疑似ラベルに対して、どの程度モデルのロバストネスを向上させるか？

主な発見

• 提案された Facelet-Bank フレームワークは、ペア学習データを必要とせず、笑顔、顔のひげ、加齢など多様な属性に対して高品質なポートレート操作を達成する。
• DFI よりも3,371倍高速であり、推論時間は0.0194秒（DFIは65.4秒）にまで短縮され、視覚的品質は維持または向上している。
• 編集強度の調整に9msの推論遅延を実現し、インタラクティブ編集をサポートするリアルタイム制御が可能。
• 複数層集約（層3、4、5）により、顔のひげが段階的に除去され、すべての層を組み合わせた場合にのみ完全な除去が達成される。
• DFIからの疑似ラベルと畳み込み層の局所的インダクティブバイアスを組み合わせることで、ノイズの多い監視信号に対してもロバストな学習が可能となり、現実的で局所的な編集が実現。
• 疑似ラベルと畳み込み層の局所的インダクティブバイアスの組み合わせにより、ノイズの多い監視信号に対してもロバストな学習が可能となり、現実的で局所的な編集が実現。