[論文レビュー] Face Completion with Semantic Knowledge and Collaborative Adversarial Learning

Haofu Liao, Gareth Funka-Lea+3 more|arXiv (Cornell University)|Dec 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 8

ひとこと要約

本稿では、顔の補完のための共同的生成対抗ネットワーク（collaGAN）を提案する。このモデルは、顔の補填、ランドマーク検出、セマンティックセグメンテーションを同時に学習させることで、構造的現実性と意味的整合性を向上させる。補填に特化した損失スキームを強調し、タスク間で特徴を共有することで、単一タスクおよび非共同的なGANベースラインを上回る、補填品質および補助タスクの精度において最先端の性能を達成する。

ABSTRACT

Unlike a conventional background inpainting approach that infers a missing area from image patches similar to the background, face completion requires semantic knowledge about the target object for realistic outputs. Current image inpainting approaches utilize generative adversarial networks (GANs) to achieve such semantic understanding. However, in adversarial learning, the semantic knowledge is learned implicitly and hence good semantic understanding is not always guaranteed. In this work, we propose a collaborative adversarial learning approach to face completion to explicitly induce the training process. Our method is formulated under a novel generative framework called collaborative GAN (collaGAN), which allows better semantic understanding of a target object through collaborative learning of multiple tasks including face completion, landmark detection, and semantic segmentation. Together with the collaGAN, we also introduce an inpainting concentrated scheme such that the model emphasizes more on inpainting instead of autoencoding. Extensive experiments show that the proposed designs are indeed effective and collaborative adversarial learning provides better feature representations of the faces. In comparison with other generative image inpainting models and single task learning methods, our solution produces superior performances on all tasks.

研究の動機と目的

• 従来のGANベースの顔の補填手法が顔構造の明示的意味的理解を欠いているという制限を是正すること。
• ランドマーク検出やセマンティックセグメンテーションなどの関連タスクからの意味的知識を明示的に組み込むことで、顔の補完における構造的現実性を向上させること。
• 複数の顔関連タスク間での知識共有を可能にする統合的生成フレームワークを構築し、より良い特徴表現を得ること。
• 自己符号化に焦点を当てるのではなく、補填に焦点を当てる最適化が、優れた再構成品質をもたらすことを示すこと。

提案手法

• 単一のジェネレータが、共有エンコーダ・デコーダ特徴を用いて、顔の補填、ランドマーク検出、セマンティックセグメンテーションの複数のタスクを同時に生成する、新しい共同GAN（collaGAN）フレームワークを導入する。
• 空間的詳細を保持し、再構成忠実度を向上させるために、エンコーダとデコーダの間にスキップ接続を採用する。
• 各タスクごとに専用の判別器を備えた条件付きGANを採用し、生成出力の品質と整合性を向上させる。
• 自己符号化よりもマスク領域の再構成を優先する補填に特化した損失スキームを適用し、欠損部分に焦点を当てる。
• タスク間で大部分のネットワークパラメータを共有することで、知識移転と共同学習を促進する。
• 補填（SSIM/PSNR）、セグメンテーション（Dice係数）、ランドマーク検出（局所化誤差）の各タスクごとに別々の損失を用いたマルチタスク監視を実装する。

実験結果

リサーチクエスチョン

• RQ1 複数の顔関連タスクの共同学習は、単一タスクのGANと比較して、顔の補填におけるリアリズムと構造的一致性を向上させるか？
• RQ2 セグメンテーションとランドマーク検出の共同学習を通じて意味的知識を明示的に組み込むことで、ジェネレータ内での特徴表現が改善されるか？
• RQ3 標準的な自己符号化目的と比較して、補填に特化した損失スキームは再構成品質においてどのように異なるか？
• RQ4 タスク間での知識共有は、主な補填タスクを含め、すべてのタスクの性能向上にどの程度寄与するか？
• RQ5 提案された共同GANフレームワークは、多様なマスク設定下でも最先端の生成モデルを上回る性能を示せるか？

主な発見

• 提案手法 M*i,s,d* は、左目のマスク条件下で最高のSSIM（92.4%）とPSNR（27.76 dB）を達成し、最先端手法GFCをSSIMで1.8%、PSNRで0.6 dB上回った。
• 下顔面マスク（O6）条件下では、SSIM 91.7%、PSNR 27.81 dBを達成し、GFC（90.0%/27.13 dB）およびSII（87.8%/24.84 dB）を顕著に上回った。
• 共同モデル M*i,s,d* は、ランドマーク検出誤差を単一タスクモデル M_d の2.38ピクセルから1.72ピクセルに低減し、27.7%の改善を達成した。
• セマンティックセグメンテーションのDiceスコアは、M_s の76.1%から M*i,s,d* の77.2%に向上し、特に下唇（82.8%）や鼻（91.0%）といった重要な領域で最高の性能を示した。
• 補填に特化したスキームは、標準的な自己符号化目的よりも優れた補填結果をもたらし、全マスクタイプでSSIMおよびPSNRが上回った。
• モデルはタスク間で視覚的に整合性のある結果を生成した：セグメンテーションマスクと補填顔が密接に一致しており、効果的な知識共有が実現している。