[論文レビュー] Improving Consistency and Correctness of Sequence Inpainting using Semantically Guided Generative Adversarial Network

Avisek Lahiri, Arnav Jain+2 more|arXiv (Cornell University)|Nov 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 5

ひとこと要約

本稿では、顔の顔認識を自動抽出したものを条件として用いることで、一貫性と正確性を向上させる意味的誘導付き生成対抗ネットワーク（SG-GAN）を提案する。ポーズと外見の特徴を分離することで、時間的に一貫性があり高精度な顔再構築が可能となり、CelebAおよびYouTube Facesデータセットにおける64×64および128×128解像度で、DIPなどのベースラインGANを上回るPSNRおよび一貫性指標を達成する。

ABSTRACT

Contemporary benchmark methods for image inpainting are based on deep generative models and specifically leverage adversarial loss for yielding realistic reconstructions. However, these models cannot be directly applied on image/video sequences because of an intrinsic drawback- the reconstructions might be independently realistic, but, when visualized as a sequence, often lacks fidelity to the original uncorrupted sequence. The fundamental reason is that these methods try to find the best matching latent space representation near to natural image manifold without any explicit distance based loss. In this paper, we present a semantically conditioned Generative Adversarial Network (GAN) for sequence inpainting. The conditional information constrains the GAN to map a latent representation to a point in image manifold respecting the underlying pose and semantics of the scene. To the best of our knowledge, this is the first work which simultaneously addresses consistency and correctness of generative model based inpainting. We show that our generative model learns to disentangle pose and appearance information; this independence is exploited by our model to generate highly consistent reconstructions. The conditional information also aids the generator network in GAN to produce sharper images compared to the original GAN formulation. This helps in achieving more appealing inpainting performance. Though generic, our algorithm was targeted for inpainting on faces. When applied on CelebA and Youtube Faces datasets, the proposed method results in a significant improvement over the current benchmark, both in terms of quantitative evaluation (Peak Signal to Noise Ratio) and human visual scoring over diversified combinations of resolutions and deformations.

研究の動機と目的

• GANベースの画像系列補填において、独立したフレーム再構築がフレーム間のちらつきや構造的一致性の欠如を引き起こすという問題に対処する。
• 顔のキーポintsや表情といった顔認識事前知識をGANの生成器に条件づけることで、再構築の正確性を向上させる。
• 潜在空間におけるポーズと外見要因の分離を可能にし、より忠実で制御可能な生成を実現する。
• 補填中に顔の認識情報（表情、テクスチャなど）を動画フレーム間で維持するフレームワークを開発する。
• 制御されたデータセットを超えた現実世界の動画補填応用において、意味的条件付けの有効性を示す。

提案手法

• 顔認識埋め込みを事前学習済みの顔キーポイント検出器を用いて抽出することで、顔認識条件付きGANアーキテクチャを提案する。
• 顔認識埋め込みは条件付き事前知識として機能し、生成器がポーズと外見をフレーム間で保持する画像を生成するのを支援する。
• モデルは潜在空間で外見とポーズ情報を分離し、変形の変動があっても一貫した生成が可能になる。
• 時間的整合性を測定するための整合性損失を導入し、低い値がより高い整合性を示す。
• 生成器は adversarial loss、perceptual loss、および新規の意味的整合性損失を用いて訓練され、リアルさと構造的正確性が向上する。
• 定量的指標（PSNR、整合性）と人間評価を用いて、CelebAおよびYouTube Facesデータセットでフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 意味的条件付けは、GANベースの系列補填における時間的整合性を向上させることができるか？
• RQ2 顔認識に条件づけることで、再構築の正確性と視覚的品質が向上するか？
• RQ3 モデルはポーズと外見要因を分離でき、動画フレーム間でより安定的かつ現実的な生成を可能にするか？
• RQ4 PSNRおよび整合性指標の観点で、本手法はDIPのような最先端のGANベース補填モデルを上回るか？
• RQ5 微調整なしで、YouTube Facesのようなドメインシフトを伴う現実世界の動画シーケンスに一般化可能か？

主な発見

• 64×64解像度では、ランダムな中央マスクにおいてDIPよりも平均で4.62 dBの整合性向上を達成し、p値 ≤ 10−5 であり、統計的に有意である。
• 128×128解像度では、ランダムな中央マスクではDIPを1.84 dB、自由形状マスクでは3.2 dB、一定左側マスクでは1.05 dB上回った。
• YouTube FacesデータセットのGary BettmanではPSNRが26.15 dB、Elizabeth Hurleyでは23.67 dBを達成し、DIPの22.48 dBおよび13.05 dBを顕著に上回った。
• 視覚的分析により、本モデルはフレーム間で表情、目が開いているかどうか、皮膚の質感を保持しており、DIPで見られるちらつきや急激な変化を回避した。
• ランダムな中央クロップ、自由形状マスク、一定左側の破損といった多様な変形タイプに対して、本モデルは頑健であった。
• 意味的条件付けにより、外見とポーズの分離が可能となり、生成中にアイデンティティと表情の一貫性を維持できた。