[論文レビュー] Inverting face embeddings with convolutional neural networks

Andrey Zhmoginov, M. Sandler|arXiv (Cornell University)|Jun 14, 2016

Generative Adversarial Networks and Image Synthesis参考文献 5被引用数 52

ひとこと要約

この論文では、反復的勾配降下法またはトレーニング済みの順方向畳み込みニューラルネットワークを用いて、FaceNetの深層顔特徴表現を、現実的で一貫性のある顔画像に逆方向に変換する手法を提案する。主な貢献は、敵対的訓練を用いずに、単純な正則化技術（例えば、全変動、ラプラシアンピラミッド勾配、中間層の監視）によって高品質な画像再構成が可能であることを示したことである。これにより、1回の順方向推論でリアルタイムの推論が実現できる。

ABSTRACT

Deep neural networks have dramatically advanced the state of the art for many areas of machine learning. Recently they have been shown to have a remarkable ability to generate highly complex visual artifacts such as images and text rather than simply recognize them. In this work we use neural networks to effectively invert low-dimensional face embeddings while producing realistically looking consistent images. Our contribution is twofold, first we show that a gradient ascent style approaches can be used to reproduce consistent images, with a help of a guiding image. Second, we demonstrate that we can train a separate neural network to effectively solve the minimization problem in one pass, and generate images in real-time. We then evaluate the loss imposed by using a neural network instead of the gradient descent by comparing the final values of the minimized loss function.

研究の動機と目的

• 顔認識に一般的に用いられる低次元顔特徴表現から現実的で一貫性のある顔画像を再構成する課題に対処すること。
• 同じ埋め込みベクトルに複数の異なる画像が対応するという逆問題における曖昧性を克服すること。
• 制御されたポーズと向きを有する一貫性があり現実的な顔画像を生成する手法を開発すること。
• 反復的最適化を回避するため、1回の推論パスで最適化問題を解く順方向ニューラルネットワークをトレーニングし、リアルタイムの顔再構成を可能にすること。
• 敵対的アプローチを用いずに、反復的最適化と同等の高品質な再構成が達成可能であることを示すこと。

提案手法

• 顔画像から事前にトレーニングされたFaceNetモデルを用いて128次元の正規化済み特徴表現を抽出する。
• 再構成を損失最小化問題として定式化：ネットワーク出力の特徴表現とターゲット特徴表現の距離を最小化し、正則化項を追加する。
• 画像の滑らかさを保ちノイズを低減するために、全変動（TV）損失およびラプラシアンピラミッド勾配正規化を適用する。
• 再構成画像とガイド画像の中間特徴マップ間のℓ₂距離を組み込み、ポーズ、向き、顔の構造を保持する。
• 反復的最適化を回避するため、ターゲット埋め込みとガイド画像を直接入力として受け取り、再構成顔画像を出力する別個の順方向畳み込みニューラルネットワークをトレーニングする。
• 反復的再構成の目的関数を模倣する組み合わせ損失関数を用いて順方向ネットワークを最適化し、1ステップでの推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を用いずに、深層ニューラルネットワークが顔特徴表現を現実的で一貫性のある顔画像に効果的に逆方向変換できるか。
• RQ2 単純な正則化技術（例：TV損失、特徴マッチング）は、より複雑な生成モデルに比べて、高品質な再構成を達成する上でどの程度優れているか。
• RQ3 順方向ネットワークが反復的最適化プロセスの解をどの程度正確に近似できるか。
• RQ4 再構成画像の品質が元の顔との埋め込み空間距離およびコサイン類似度とどの程度相関しているか。
• RQ5 トレーニング済みの順方向ネットワークが未観測の埋め込みに一般化可能で、複数のフレームにわたる動画シーケンスにおいて一貫したアイデンティティを保持して顔の外見を転送できるか。

主な発見

• 正則化を用いた反復的勾配降下法により、ガイド画像のポーズと向きと一致する非常に現実的で一貫性のある顔再構成が得られた。
• 順方向ネットワークは反復的最適化に比べて平均損失値が1.6倍高いが、視覚的に優れた結果を達成しており、最適化の忠実度と視覚的品質の間のトレードオフが示された。
• フィルタ数がたった50個でも、順方向ネットワークは正規化された埋め込み内積で0.752を達成し、通常の同じ人物の実写写真間の平均値0.6を超えた。
• 本手法により、顔の埋め込みを動画シーケンスに転送することができ、異なるポーズを持つ複数のフレームに同じ埋め込みを適用することで一貫性のあるアニメーションが生成された。
• 埋め込みがほとんど同一であっても、再構成画像は依然として識別可能であり、この手法が微細なアイデンティティ固有の詳細を捉えていることが示された。
• 敵対的訓練が欠如しているにもかかわらず性能に悪影響を及げず、適切な正則化により埋め込み空間が十分に完全であるため、高精細な再構成が可能であることがわかった。