[論文レビュー] r-BTN: Cross-domain Face Composite and Synthesis from Limited Facial Patches

Yang Song, Zhifei Zhang+1 more|arXiv (Cornell University)|Jun 2, 2017

Face recognition and analysis参考文献 33被引用数 4

ひとこと要約

本稿では、顔とスケッチのドメイン間を前向きおよび後向きのドメイン変換を繰り返し行い、再構成を段階的に改善することで、最大95%の欠損領域を有する限定的な顔のパッチから高精細で現実的な顔画像やスケッチを生成する再帰的双方向変換ネットワーク（r-BTN）を提案する。従来手法と比較して、一貫性が向上し、ぼやけが軽減される。

ABSTRACT

We start by asking an interesting yet challenging question, "If an eyewitness can only recall the eye features of the suspect, such that the forensic artist can only produce a sketch of the eyes (e.g., the top-left sketch shown in Fig. 1), can advanced computer vision techniques help generate the whole face image?" A more generalized question is that if a large proportion (e.g., more than 50%) of the face/sketch is missing, can a realistic whole face sketch/image still be estimated. Existing face completion and generation methods either do not conduct domain transfer learning or can not handle large missing area. For example, the inpainting approach tends to blur the generated region when the missing area is large (i.e., more than 50%). In this paper, we exploit the potential of deep learning networks in filling large missing region (e.g., as high as 95% missing) and generating realistic faces with high-fidelity in cross domains. We propose the recursive generation by bidirectional transformation networks (r-BTN) that recursively generates a whole face/sketch from a small sketch/face patch. The large missing area and the cross domain challenge make it difficult to generate satisfactory results using a unidirectional cross-domain learning structure. On the other hand, a forward and backward bidirectional learning between the face and sketch domains would enable recursive estimation of the missing region in an incremental manner (Fig. 1) and yield appealing results. r-BTN also adopts an adversarial constraint to encourage the generation of realistic faces/sketches. Extensive experiments have been conducted to demonstrate the superior performance from r-BTN as compared to existing potential solutions.

研究の動機と目的

• 顔からスケッチへの大きなドメイン変化（例：顔からスケッチ）を伴う、最大95%の欠損領域を有する小さな顔パッチから、現実的で高精細な顔画像を生成する課題に対処すること。
• パッチベースのマッチングやインpaintingに起因するぼやけや一貫性の欠如といった従来手法の限界を克服すること。
• 顔とスケッチ多様体間の双方向変換を活用することで、顔/スケッチ合成におけるクロスドメインの一貫性と写真的リアリズムを向上させること。
• 異なるドメインや個人からの複数のパッチを生成的かつ一貫的に統合することで、顔合成の耐障害性を高めること。

提案手法

• 顔とスケッチのドメインを交互にマッピングすることで、再構成画像を段階的に改善する再帰的生成フレームワークを提案する。
• 再帰的改善プロセスの安定化と現実的で高精細な出力への収束を保証するため、前向きおよび後向きの誤差最小化を導入する。
• 生成画像の写真的リアリズムと知覚的質を向上させるために、顔からスケッチおよびスケッチから顔の両ネットワークで adversarial training を実施する。
• 生成された顔の類似性と多様性を評価するため、事前学習済みの VGG-Face ネットワークを用いて高レベル特徴を抽出する。
• 反復的改善を実装：各ステップで、現在の再構成画像をドメイン間で前向きおよび後向きにマッピングし、残差誤差を段階的に低減する。
• 実画像が低次元多様体上に存在すると仮定し、顔とスケッチのドメインの多様体構造を活用することで、再帰的生成が現実的な解へと導かれるようにする。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、非常に限定的な顔パッチ（例：5%の可視領域）から最大95%の欠損領域を有する現実的で高精細な顔画像を生成できるか？
• RQ2 顔とスケッチのドメイン間で双方向変換を適用することで、大規模な欠損領域下でも一貫性が向上し、ぼやけが軽減されるか？
• RQ3 前向きおよび後向きの誤差最小化による再帰的改善は、生成プロセスの安定化と収束性をどの程度向上させるか？
• RQ4 同じ人物または異なる人物のパッチから顔を生成する際、同一クラス内類似性（アイデンティティの一貫性）と異常クラス間差異（多様性）をどの程度保持できるか？
• RQ5 pix2pix やインpaintingベースのアプローチと比較して、r-BTN は極端な欠損領域下でも忠実度、リアリズム、耐障害性の面で優れているか？

主な発見

• r-BTN は約20イタレーションで安定した収束を示し、平均残差がほぼゼロに近づき、平均絶対残差が小さな値に安定する。これは一貫性があり信頼性の高い生成を示している。
• 95%の画像が欠損している状況下でも、生成画像のぼやけが顕著に軽減され、pix2pix やインpaintingベースのベースライン手法を上回る視覚的品質と忠実度を達成している。
• 同じ人物のパッチ（例：左目、右目）から生成された顔は高い同一クラス内類似性を示す一方、異なる人物のパッチからは強い異常クラス間多様性が観察され、特に欠損率が60%未満の低欠損率下で顕著である。
• 同じ人物の目パッチから生成された顔同士の類似性は、鼻や口パッチから生成された顔よりも高いまま維持されており、アイデンティティの手がかりを効果的に保持していることを示している。
• 95%の欠損率下では、類似性曲線と多様性曲線が交差しており、アイデンティティの保持が損なわれていることを示しており、極めて小さなパッチでは信頼できる生成の実用的限界があると示唆している。
• adversarial 制約により写真的リアリズムが顕著に向上し、単方向アプローチに比べて双方向学習機構により幾何的構造の回復がより正確に行われている。