[論文レビュー] Towards Automatic Image Editing: Learning to See another You

Amir Ghodrati, Xu Jia+2 more|Lirias (KU Leuven)|Nov 26, 2015

Face recognition and analysis参考文献 24被引用数 9

ひとこと要約

本稿では、顔のポーズ、メガネ、帽子などの特定の属性変更を加えた顔画像を、アイデンティティや外見を保持したまま生成する2段階の畳み込みエンコーダ・デコーダネットワークを提案する。属性をエンコードし、特徴マップレベルで画像特徴と統合することで、高品質でアイデンティティを保持する編集を実現し、顔認識タスクにおいても競争力ある性能を示す。

ABSTRACT

Learning the distribution of images in order to generate new samples is a challenging task due to the high dimensionality of the data and the highly non-linear relations that are involved. Nevertheless, some promising results have been reported in the literature recently,building on deep network architectures. In this work, we zoom in on a specific type of image generation: given an image and knowing the category of objects it belongs to (e.g. faces), our goal is to generate a similar and plausible image, but with some altered attributes. This is particularly challenging, as the model needs to learn to disentangle the effect of each attribute and to apply a desired attribute change to a given input image, while keeping the other attributes and overall object appearance intact. To this end, we learn a convolutional network, where the desired attribute information is encoded then merged with the encoded image at feature map level. We show promising results, both qualitatively as well as quantitatively, in the context of a retrieval experiment, on two face datasets (MultiPie and CAS-PEAL-R1).

研究の動機と目的

• 特定の属性変更（例：ポーズ、メガネ、帽子）を加えたリアルな顔画像を生成するが、アイデンティティや外見を保持するという課題に対処すること。
• 属性の影響を分離し、手動による介入なしに入力画像に正確に適用できる手法を開発すること。
• 顔の照明再現、アクセサリーの追加・削除、画像補完などの応用を想定した自動画像編集を可能にすること。
• 生成画像をクエリとして用いて、属性が変更された類似顔を検索する顔認識設定で手法を評価すること。
• 2段階のリファインメント戦略が、画像品質の向上とアーティファクトの低減に効果的であることを示すこと。

提案手法

• 2段階のエンコーダ・デコーダフレームワークを採用：第1段階は変更された顔のグローバルな表現を生成し、第2段階は局所的詳細を精錬することでアーティファクトを低減する。
• 属性情報はベクトルとしてエンコードされ、画像特徴マップと互換性のある形に投影され、特徴マップレベルでの統合が行われる。
• 特徴マップの統合は、学習可能なモジュールを用いて、デコンボリューションの前にエンコードされた画像表現と属性表現を統合する。
• ネットワークはグローバル・ローカル訓練戦略を採用し、第1段階はアイデンティティや構造に焦点を当て、第2段階はテクスチャや微細な詳細に焦点を当てる。
• 欠損領域の不確実性に強く対応できるよう、遮蔽補完タスクでは平均絶対誤差（MAE）を訓練に用いる。
• モデルは、ポーズ、照明、アクセサリーなどの系統的な属性変化を含む、クロップされアライメント済みの顔データセット（MultiPIEおよびCAS-PEAL-R1）で学習される。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、アイデンティティや外見を保持したまま、特定の属性変更を加えたリアルな顔画像を生成できるか？
• RQ2 特徴マップレベルで属性埋め込みと画像特徴を統合することで、属性固有の編集はどの程度効果的に達成できるか？
• RQ3 2段階のリファインメント戦略は、1段階アプローチと比較して、生成画像の品質とリアリズムを向上させるか？
• RQ4 生成画像は、属性が変更された類似顔を検索するクエリとして効果的に使用できるか？
• RQ5 遮蔽された顔領域を含む困難なタスク（例：画像補完）において、この手法はどの程度の性能を示すか？

主な発見

• 提案手法は、ポーズ変化、メガネ、帽子の追加など、正確な属性変更を伴いながらもアイデンティティや顔の構造を保持した高品質な顔画像を生成する。
• 第2段階のリファインメントは、特にアクセサリーの置き換えなどの複雑な属性変更において、ぼやけやアーティファクトを顕著に低減し、画像品質を著しく向上させる。
• MultiPIEデータセットにおいて、生成画像をクエリとして用いた場合、最先端の手法と同等の検索性能を達成した。
• [27]との定性的比較により、アイデンティティ保持性においてベースラインモデルを上回っていることが示され、特にさまざまな条件下でもシャープでリアルな顔を生成できる。
• 画像補完タスクではMAE損失を用いることで、MSEと比較して欠損領域の再構成がより一貫性があり、リアルに再現された。
• モデルは、同時にハットを外してメガネを追加するなど、多様な属性の組み合わせに対しても一般化が良く、属性の堅牢な分離を示している。